отношению к членам нашей семьи, нашему племени, нашей культуре, нашей стране. Человек, животное, да и машина, могут быть разумными без этих побуждений и эмоций. Следует запомнить: разумные машины будут стремиться к господству над человечеством только в том случае, если мы вложим в них это желание. Зачем нам это делать?
Согласование ценностей
Возможно, машины захотят доминировать над человечеством, если, подобно HAL9000, они решат, что это лучший способ достичь цели, которую мы им поставили. Чтобы избежать такого сценария, будет ли достаточно встроить в них систему ценностей, которая запрещала бы им убийства, использование оружия, насильственные действия в отношении живых существ и т. д.? В этом и заключается вопрос о согласовании внутренних ценностей машины с общечеловеческими ценностями.
В «Рассказах о роботах» писатель и популяризатор науки Айзек Азимов описывает свои три закона робототехники:
1. Робот не может причинить вред человеку или своим бездействием подвергать человека опасности.
2. Робот должен подчиняться приказам человека, если только эти приказы не противоречат Первому Закону.
3. Робот должен защищать свое существование до тех пор, пока эта защита не станет противоречить Первому или Второму закону.
Как оказалось, довольно сложно запрограммировать эти законы в заранее прописанном поведении или в фиксированной части целевой функции интеллектуальной машины. На практике способность машин подчиняться этим законам скорее связана с их способностью предсказывать и оценивать опасность ситуации. Но нельзя привить эти законы роботу, пока он не научится абстрактным понятиям: опасности, послушанию, комфорту.
Как это сделать? Из Главы 9 ясно, что архитектура автономного ИИ включает целевую функцию, которая контролирует его инстинкты и импульсы. Речь идет о его «хранителе моральных ценностей». Эта целевая функция должна включать «врожденные», то есть созданные «вручную», ограничения, гарантирующие безопасность и выражаемые с помощью очень простых понятий. Легко построить датчик приближения человека и установить ограничение на скорость движения рук робота, когда человек находится в пределах досягаемости. Намного сложнее наложить поведенческие ограничения, относящиеся к абстрактным понятиям, таким как потенциальная опасность.
Целевая функция должна включать в себя не только сконструированные (врожденные) компоненты, но и обучаемые компоненты. Когда машина совершит ошибку, мы ее исправим. Она может изменить обучаемый параметр своей целевой функции, чтобы избежать повторения ошибки, возможно, даже обратившись к абстрактным понятиям, таким как понятие опасности. Такой процесс исправит поведение системы в непредвиденных ситуациях, не охваченных врожденными, т. е. вручную созданными инженером, параметрами.
У человечества, с одной стороны, существует большой опыт в кодификации систем моральных ценностей в виде законов (которые мы часто называем «кодексами»). Эти ценности иногда кодируются таким образом, чтобы организации и власть вели себя хорошо. С другой стороны, эти ценности также кодируются образованием: на протяжении тысячелетий мы учили наших детей отличать добро от зла и достойно вести себя в обществе.
Чтобы научить наших роботов будущего тоже вести себя достойно, нам не придется начинать с нуля.
Новые рубежи
Интеллект – это не только интеллектуальные способности. Он затрагивает все сферы поведения. К нему относятся обучение, адаптация и способность принимать решения. Хотя мы до сих пор не до конца понимаем, как обучаются люди и животные, ИИ дает нам некоторые ответы – по умолчанию. Существование ИИ доказывает, что между машинным интеллектом и человеческим нет непреодолимой пропасти, и указывает направления, в которых мы должны работать.
С точки зрения экономии средств машина использует в тысячи раз больше данных и энергии, чем мозг. В чем кроется эффективность работы последнего? Биологические нейроны медленные, но компактные, их много, и они потребляют очень мало энергии. Стремление к экономии энергии столь велико, что в любой момент в головном мозге активно лишь небольшое количество нейронов, которые при этом еще и экономичны сами по себе. «Тихий» нейрон тратит намного меньше энергии, чем нейрон, который посылает импульсы. Подобная слабая активность – это способ изучить аппаратную реализацию искусственных нейронных сетей будущего.
До сих пор остается большой загадкой, как человек так быстро строит абстрактные представления об окружающем мире? Как он, управляя этими представлениями, учится рассуждать и разрабатывать планы действий, позволяющие ему разбить сложную задачу на более простые подзадачи?
Ответ на эти вопросы прольет свет на другие загадки. Человек учится на небольшом количестве примеров. Он представляет сценарии, которые позволяют ему предвидеть последствия своих действий и, таким образом, сэкономить определенное количество знаний… Задача текущих исследований – обучение без использования большого количества примеров и энергии, которые на сегодняшний день характерны для ИИ.
Наука об интеллекте
В истории науки технологические изобретения зачатую предшествуют теории и науке. Примеры приведены в таблице 10.1.
Объектив, телескоп и микроскоп были изобретены задолго до того, как Ньютон разработал теорию оптики. Паровая машина работала более века, прежде чем Сади Карно ввел понятие теплового цикла и заложил основы термодинамики. Первые самолеты взлетели до того, как были разработаны аэродинамика, теории крыла и устойчивости полета. Первые программируемые компьютеры породили науку о вычислениях и алгоритмах, которую называют информатикой. Теория информации, предложенная Клодом Шенноном в Bell Labs в 1948 г., появилась лишь спустя десятилетия после появления первых удаленных коммуникаций и зарождения цифровых сетей.
Таблица 10.1. Изобретение и лежащая в его основе теория
Исследования в области ИИ все еще находятся на стадии разработки. Еще нет отдельной науки, связанной с ИИ. У нас нет единой теории интеллекта. Есть теория обучения, но она касается только контролируемого обучения и устанавливает для нас границы возможного, но не раскрывает секреты механизмов мозга или правильного подхода к самоконтролируемому обучению, которое характерно для биологических систем.
Можем ли мы представить себе теорию интеллекта? Возникнет ли наука об интеллекте благодаря изобретению машин, способных к обучению? Эти вопросы составляют мою исследовательскую программу на ближайшие десятилетия. Открыть для себя основные механизмы и принципы работы интеллекта, независимо от того, естественный он или искусственный.
Послесловие
Вот мы и подошли к концу нашего путешествия в мире искусственного интеллекта.
Я понимаю, что это было похоже скорее на серьезный поход в горы, чем на оздоровительную прогулку. Я не собирался скрывать от читателя всей сложности проблемы. Без сомнения – это серьезный вызов для тех, кто не знаком с новой «вселенной» мыслящих машин. Но, по крайней мере, я постарался сделать наше путешествие максимально информативным.
Наука об искусственном интеллекте – молодая, находящаяся в процессе становления, но уже обладающая значительным преобразующим потенциалом. Это одновременно и теория, границы которой беспрерывно раздвигаются, и практическая реальность, живущая во множестве бытовых устройств. Собственная логика работы ИИ порой ускользает от нас.
