— Это правда, — согласился Иен. — Жорж превращает в произведение искусства все, к чему прикасается. Но вам не следовало сообщать об этом Мардж, пока она наша гостья. Некоторых людей страшно нервирует сама идея манипуляции с генами — особенно с их собственными генами.
— Мардж, я тебя расстроила? Извини.
— Нет, Джен. Я не из тех людей, кого нервирует одна только мысль о живых артефактах или искусственных людях. Некоторые мои лучшие друзья — искусственные люди.
— Дорогая, — мягко сказал Жорж, — не надо рассказывать сказки.
— Почему ты так говоришь? — я попыталась не повышать голос.
— Я могу заявить, что, поскольку я работаю в этой области, много искусственных людей являются моими друзьями, и я говорю это с гордостью. Но…
Я перебила:
— Я думала, ИЧ никогда не встречают своих создателей.
— Это правда, и я это правило никогда не нарушал. Но у меня все же часто бывает возможность познакомиться с живыми артефактами и искусственными людьми — это не одно и то же — и заслужить их дружбу. Но — простите меня, дорогая мисс Марджори — если вы не работаете в этой области — Нет?
— Нет.
— Только генный инженер или кто-то тесно связанный с этой отраслью, может сказать, что у него есть знакомые среди искусственных людей. Потому что, моя дорогая, вопреки популярному мифу, для обывателя в принципе невозможно отличить искусственного человека от обычного… а из-за злобной предвзятости невеж искусственный человек почти никогда не признается о своем происхождении — мне хочется сказать «вообще никогда». Поэтому, хотя я рад, что ты не дергаешься при мысли о искусственных созданиях, я вынужден рассматривать твое заявление как преувеличение, к которому ты прибегла, чтобы показать свою свободу от предубеждений.
— Ну… ладно. Пусть будет так. Я не понимаю, почему ИЧ должны быть гражданами второго сорта. Это нечестно.
— Верно. Но некоторые чувствуют в этом угрозу. Спроси Иена. Он собирается атаковать администрацию в Ванкувере, чтобы искусственные люди никогда не смогли стать пилотами. Он…
— Хватит! Ты меня достал. Я занимаю такую позицию, потому что так решили мои профсоюзные братья. Но я не дурак, Жорж; благодаря жизни и беседам с тобой, я начал осознавать, что нам придется искать компромисс. Мы больше не настоящие пилоты, и мы ими не являемся все это столетие. За нас работает компьютер. Если компьютер отрубится, я сделаю все возможное, чтобы без аварии опустить с неба этот автобус, но лучше на меня не ставить! Скорости и возникающие неполадки много лет назад превзошли человеческие возможности. Я сделаю все, что смогу! Как и любой из моих собратьев. Но, Жорж, если ты сможешь создать искусственного человека, который будет думать и двигаться достаточно быстро, чтобы справиться с отказом компьютера при посадке, я уйду на пенсию. Это все, чего мы добиваемся, так или иначе — если компания заменит нас пилотами-ИЧ, то они должны получать полную оплату. Если ты сможешь их создать.
— О, со временем я смог бы их создать. Когда бы я сделал одного, если бы мне разрешили клонирование, вы, пилоты, смогли бы отправляться на все четыре стороны. Но это был бы не ИЧ; это должен быть живой артефакт. Если я попытаюсь произвести организм, который действительно будет надежным пилотом, я не смогу это сделать с условием сохранения нормального человеческого облика.
— Не надо, пожалуйста!
Оба мужчины выглядели удивленными, Дженет насторожилась — и я пожалела, что не сдержалась.
— Почему нет? — спросил Жорж.
— Э… потому что я не сяду в такой корабль. Мне безопаснее будет с Иеном.
Иен сказал:
— Спасибо, Мардж — но ты слышала, что сказал Жорж. Он говорит о существе, специально созданном для пилотирования, которое сможет делать это лучше, чем я. Это возможно. Так уже бывало, черт возьми! Так же, как гномы заменили шахтеров, заменят и моих коллег. Мне может это не нравиться, но я вижу, что так скоро случится.
— Хорошо… Жорж, ты работал с разумными компьютерами?
— Конечно, Марджори. Искусственный интеллект — это область, близкая к моей профессии.
— Да. Тогда ты знаешь, что специалисты по ИИ несколько раз объявляли, что они готовы создать компьютер, обладающий сознанием. Но у них ничего не получалось.
— Да. Это печально.
— Нет — это неизбежно. У них это никогда не получится. Компьютер может обладать сознанием — безусловно! Сделайте его таким же сложным, как человеческий мозг, и он обязательно осознает себя. Потом он обнаружит, что он не человек. Потом он сообразит, что никогда не сможет стать человеком; все, что он сможет делать — это сидеть на месте и выполнять приказы людей. Потом он сойдет с ума.
Я пожала плечами. — Это неразрешимая дилемма. Если он не человек, он никогда не сможет им стать. Иен, может быть, не сможет спасти пассажиров, но он попытается. Но живой артефакт, не будучи человеком и не имея уважения к людям, может разбить корабль просто потому, что ему все равно. Потому что ему надоело то, как с ним обращаются. Нет, Жорж, я буду лететь с Иеном. А не с твоим артефактом, который постепенно начнет ненавидеть людей.
— Не с моим артефактом, дорогая, — мягко сказал Жорж. — Ты обратила внимание, какое наклонение я использовал, говоря об этом проекте?
— Видимо, нет.
— Условное. Потому что ничто из того, что ты сказала, не является для меня новостью. Я не пытался выполнить эту работу и не собираюсь. Я могу создать такого пилота. Но я не смогу встроить в этот артефакт нравственные принципы, которые составляют основу подготовки Иена.
Иен, похоже, задумался. — Может быть, во время переговоров мне нужно будет выдвинуть требование, что любой пилот ЖА или ИЧ должен пройти проверку нравственных принципов.
— Как это проверить, Иен? Я не знаю, как внедрить нравственные принципы в зародыш, а Мардж показала, почему не будет пользы от подготовки. Все равно, какой тест может это проявить?
Жорж повернулся ко мне.
— Когда я был студентом, я читал кое-какие классические рассказы о человекоподобных роботах. Эти рассказы были очаровательны, и многие из них строились на так называемых законах роботехники, ключевой идеей которых было то, что в этих роботов встраивалось рабочее правило, которое не позволяло им вредить людям непосредственно либо путем бездействия. Это было замечательной основой для выдумки… но, на практике, как можно это сделать? Что может заставить сознательный нечеловеческий разумный организм — электронный или органический — быть преданным человеку? Я не знаю, как это сделать. Специалисты по искусственному интеллекту, похоже, тоже не могут это выяснить.
Жорж цинично усмехнулся. — Практически можно определить разум как уровень, на котором сознательный организм задает вопрос: «А какая мне в этом выгода?» — Он продолжал. — Мардж, насчет покупки у тебя одной чудесной свежей яйцеклетки, наверное, я должен попытаться объяснить тебе, какая в этом выгода для тебя.
(adsbygoogle = window.adsbygoogle || []).push({});
