Помимо Талоса и Пандоры, Гефест создал и другие человекоподобные машины. Например, автоматических слуг, которые выглядели как женщины, но были сделаны из золота. Согласно Гомеру Гефест дал этим искусственным женщинам знания богов.
Майор отмечает, что ни в одном из этих мифов отправка искусственных существ на землю не заканчивается добром. Можно сказать, что лейтмотивом античных сказаний об искусственных существах является мысль о том, что неплохо, когда такие существа используются богами, но как только эти продукты божественной технологии взаимодействуют с людьми, мы получаем хаос и разрушение[3053], [3054].
Развитие механических вычислительных машин в XIX в. с новой силой пробудило страхи людей перед развитием технологий. Вот, к примеру, что писал в 1847 г. преподобный Ричард Торнтон, редактор религиозного журнала Primitive Expounder [Простой Толкователь]: «Ум… опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить… Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!»[3055], [3056]
В 1863 г., через четыре года после того, как Чарльз Дарвин опубликовал «Происхождение видов», писатель Сэмюэл Батлер под псевдонимом Cellarius в статье «Дарвин среди машин» (Darwin among the Machines)[3057] высказал идею о том, что эволюционирующие машины рано или поздно вытеснят человечество как доминирующий вид. Батлер предлагал немедленно уничтожить все машины, чтобы избежать этого печального исхода. Он писал:
Мы имеем в виду вопрос: какими скорее всего будут существа, которые станут доминирующим видом на Земле после людей. Мы часто слышали об этом споре; но нам кажется, что мы сами создаём собственных преемников; мы ежедневно добавляем красоту и тонкость их физической организации; мы ежедневно наделяем их большим могуществом и с помощью всевозможных изобретательных приспособлений снабжаем их той саморегулирующейся, самодействующей силой, которая будет для них тем же, чем стал интеллект для человеческого рода. С течением времени мы обнаружим себя в роли низшей расы. <…> День ото дня машины набирают силу; день ото дня мы становимся более подчинёнными им; всё больше людей ежедневно приковываются к ним, как рабы, чтобы ухаживать за ними, всё больше людей ежедневно посвящают энергию всех своих жизней развитию механической жизни. Результат — это просто вопрос времени, но то, что наступит время, когда машины будут иметь реальное превосходство над миром и его обитателями, — это то, в чём ни один человек с истинно философским складом ума не может ни на мгновение усомниться.
Статья заканчивается пламенным призывом: «Против них должна быть немедленно объявлена смертельная война. Каждую машину любого рода должен уничтожить тот, кто желает добра своему виду. Пусть не будет никаких исключений, ни на йоту; давайте же немедленно вернёмся к первобытному состоянию нашей расы».
В 1872 г. Батлер (вновь анонимно) публикует сатирический роман-антиутопию под названием «Егдин, или За пределом» (Erewhon: or, Over the Range)[3058] (слово Erewhon, обозначающее вымышленную страну, в которой происходят действия романа, это анаграмма слова nowhere, т. е. «нигде», поэтому по-русски её иногда передают как «Егдин»). В этом романе машиноненавистнические идеи Батлера получают дальнейшее развитие. В 1901 г. выходит продолжение романа под названием «Спустя двадцать лет первооткрыватель страны и его сын возвращаются в Егдин» (Erewhon Revisited Twenty Years Later, Both by the Original Discoverer of the Country and by His Son)[3059]. Именно в честь Батлера автор вселенной «Дюны» писатель Фрэнк Герберт назвал крестовый поход человечества против компьютеров, мыслящих машин и наделённых разумом роботов Батлерианским джихадом[3060].
7.1.2 Текущая оценка опасности развития ИИ
Воззрения Батлера можно было бы счесть курьёзом и отнести к страху перед машинами, появившемуся в период стремительного индустриального прогресса XIX в. Но поскольку развитие науки и техники не останавливалось, то идеи восстания машин ещё не раз возникали в искусстве. Однако ранее они носили теоретический характер, относясь к обсуждению рисков далёкого будущего. Сейчас же, ввиду прогресса в области ИИ, этот вопрос всё более волнует широкую публику.
Что же говорят об опасности развития ИИ учёные и IT-специалисты?
Роман «Егдин» был знаком Тьюрингу, который упоминал его в лекции 1951 г., посвящённой долгосрочным прогнозам развития машинного интеллекта: «Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в „Егдине“ Сэмюэла Батлера»[3061].
В том же году Тьюринг вернулся к этому вопросу в выступлении на радио Би-би-си: «Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждёт нас? Даже если мы сумели бы удержать машины в подчинённом положении, например отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными… Эта новая опасность… безусловно, заслуживает того, чтобы из-за неё тревожиться»[3062], [3063], [3064].
Ныне уже покойный профессор Стивен Хокинг, один из самых уважаемых и известных британских учёных, заявил, что усилия по созданию мыслящих машин могут привести к тому, что само существование человечества окажется под угрозой. В интервью Би-би-си он отметил, что «появление полноценного искусственного интеллекта может стать концом человечества»[3065]. Хокинг в данном случае имел в виду сценарий «интеллектуального взрыва» [intelligence explosion]: «Он [полноценный искусственный интеллект] сам вырулит на взлётную полосу и станет сам себя совершенствовать со всё возрастающей скоростью. Люди, ограниченные медленной биологической эволюцией, не смогут тягаться [с ИИ] и будут вытеснены [superseded]». Конечно, в отличие от Батлера, Хокинг не предлагал уничтожить машины и вернуться к первобытному порядку вещей, однако если «полноценный искусственный интеллект» действительно угрожает самому существованию человечества, то некоторые люди могут сделать вывод о том, что необходимо полностью запретить исследования в данной области.
На необычный вариант ИИ-риска указывает популярный в наши дни шведский философ, профессор Оксфордского университета Ник Бостром. Он придерживается мнения, что достигший интеллектуального уровня человека ИИ [human-level AI] будет способен уничтожить человечество ввиду ошибочного целеполагания. Бостром объясняет это на примере машины, предназначенной для производства канцелярских скрепок: предположим, что вы поставили перед системой ИИ задачу изготавливать скрепки, причём делать их максимально эффективно и как можно больше. Система в какой-то момент поймёт, что человек представляет угрозу, поскольку может просто отключить её, что будет противоречить задаче максимизации количества скрепок. Кроме того, человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. В итоге, руководствуясь поставленной целью, машина изведёт всё человечество на скрепки[3066]. История с машиной для производства скрепок имеет немало общего со средневековыми легендами, в которых фигурирует договор с дьяволом (вроде польской легенды о пане Твардовском). В этих историях дьявол обычно находит способ трактовать то или иное положение договора в свою пользу — совсем не так, как понимает его заключивший договор человек.
