Успехи бертологии вылились в возникновение новой отрасли машинного обучения, получившей название «инженерия представлений» (Representation engineering, RepE). Инженерию представлений можно считать частью ещё более общей дисциплины — нейрофизиологии искусственных нейронных сетей. Изучая внутренние представления [hidden states] нейросетевых моделей путём анализа активаций их нейронов в ответ на определённые стимулы, мы можем затем успешно влиять на поведение сети, «сдвигая» его в нужном нам направлении за счёт коррекции некоторых весов. Например, как выяснилось, можно выявить градиент изменения весов, соответствующий повышению «честности» ответов модели, и если немного «подвинуть» веса в этом направлении, модель будет в среднем меньше врать. Модифицированная таким образом модель Llama 2 смогла прибавить целых 10 процентных пунктов на тесте TruthfulQA. Теперь исследователи заняты анализом других «направлений», таких как эмоциональность, этичность и так далее.[3329], [3330]
Основным инструментом исследователей стал метод, получивший название «низкоранговая адаптация представлений» (Low-Rank Representation Adaptation, LoRRA), выявляющий нужные градиенты изменения весов на основе маленьких наборов, содержащих порядка сотни размеченных примеров.
Другое достижение нейрофизиологии искусственных нейронных сетей — обнаружение во внутренних представлениях Llama 2 ни много ни мало карты мира! Учёных давно интересовали вопросы о том, есть ли «внутри» языковых моделей модель мира или, например, чувство времени? Новое исследование Уэса Гёрни и Макса Тегмарка доказывает, что есть. «Нет, LLM — не просто стохастические попугаи: Llama 2 содержит в буквальном смысле подробную модель мира. Мы даже обнаружили „нейрон географической долготы“» — пишут исследователи[3331].
Впрочем, часто люди не в полной мере осознают, что означает неинтерпретируемость модели с практической точки зрения. В повседневной жизни человек буквально окружён объектами, принципы поведения которых он не понимает в полной мере. Обычный человек легко может жить, не понимая, как устроен телевизор или автомобиль, как функционирует живая клетка или система государственного управления. Наконец, мы не можем «залезть в голову» других людей, чтобы получить исчерпывающее объяснение их поступков. Конечно, люди нередко рассказывают, на чём они основывались, принимая то или иное решение, однако проблема заключается в том, что эти рассказы часто имеют мало общего с действительным процессом принятия решений. Для таких объяснений post factum существует даже специальный термин — [ретроспективная] рационализация. Согласно поговорке задним умом мы всегда крепки. Однако на деле цена подобных «объяснений» нередко оказывается небольшой — вспомним хотя бы попытки Ботвинника создать шахматную программу, воплощающую в себе алгоритм игры человека-гроссмейстера, — оказалось, что профессиональный шахматист не может объяснять свой способ принятия решения с точностью, достаточной для реализации в виде эффективного алгоритма. В ряде случаев поведение «неинтерпретируемых» нейросетевых моделей является куда более предсказуемым и контролируемым, чем поведение людей. В конце концов, эти модели обычно интенсивно тестируются на огромных тестовых выборках, а затем — если, например, речь о беспилотных автомобилях — в ходе испытаний на дорогах, километраж которых многократно превышает опыт большинства водителей. Некоторые люди заявляют, что их страхи перед автономными автомобилями связаны с «неинтерпретируемостью» действий последних, но аналогичным образом можно бояться и поездок на такси с незнакомыми водителями, чьё поведение тоже можно считать «неинтерпретируемым». Хотя вы можете спросить у попавшего в аварию водителя, почему он принял то или иное решение, но не факт, что он сможет объяснить свои действия. С практической точки зрения моделям обычно нужны масштабные и правильно выстроенные испытания (в том числе и в критических ситуациях), а вовсе не интерпретируемость, а «проблема чёрного ящика» на деле вряд ли может считаться вызовом, всерьёз угрожающим развитию ИИ.
8.5 Морально-этические вопросы применительно к ИИ
На свете есть мало занятий, — сказал Ме-ти, — которые бы так расшатывали мораль человека, как занятия моралью. Мне доводилось слышать: надо быть правдолюбивым, надо выполнять свои обещания, надо бороться за добро. Но деревья не говорят: надо быть зелёными, фрукты должны падать на землю вертикально вниз; надо шелестеть листвой, когда подует ветер.
Бертольд Брехт.
Ме-ти. Книга перемен[3332]
Развернувшаяся в последние годы гонка гигантских трансформерных архитектур — ещё один довод в пользу необходимости создания новых моделей. Исследователи в области глубокого обучения отлично это понимают, что и показывает активный поиск ими новых разновидностей разреженных трансформеров. Конечно, гонка больших моделей будет продолжена даже при появлении новых, более эффективных архитектур, но ведь возможности этих архитектур, умноженные на мощь новых аппаратных средств, сулят ещё больший прогресс в решении задач ИИ. Забавно, что революция трансформеров в NLP в некотором смысле вернула нас в эпоху мейнфреймов, только на совершенно новом технологическом уровне. Вновь для решения некоторых типовых для индустрии задач нужны машины, которые пока что слишком дороги, чтобы предоставить их в индивидуальное пользование. Рассказы родителей об их работе на компьютерах с терминальным доступом за пару лет из «преданий старины глубокой» превратились во вполне актуальный нарратив.
Ещё к одной интересной проблеме современного ИИ привлекли внимание общества французский исследователь Жан-Франсуа Боннфон и его коллеги. В 2016 г. Боннфон, Азим Шариф и Ияд Рахван опубликовали в журнале Science статью под названием «Социальная дилемма автономных транспортных средств» (The social dilemma of autonomous vehicles)[3333]. В ней они задались вопросом о том, что, хотя массовое внедрение автономного транспорта может сократить общее количество жертв на дорогах, в определённых ситуациях автопилотам придётся совершать выбор из двух зол, который непросто сделать и человеку. Речь идёт о ситуациях, напоминающих знаменитую проблему вагонетки (Trolley problem) — мысленный эксперимент, впервые сформулированный в 1967 г. английским философом Филиппой Фут. Фут использовала несколько формулировок своего эксперимента, вот одна из его современных формулировок: «Представьте себе, что тяжёлая неуправляемая вагонетка мчится по рельсам в направлении стрелки, которую вы можете переключить. В зависимости от положения стрелки вагонетка продолжит свой путь по одному из путей. На первом из них (по нему вагонетка пойдёт, если стрелку не переключить) лежит пятеро человек, привязанных к рельсам сумасшедшим философом. На другом пути к рельсам привязан лишь один человек».
Участникам этого мысленного эксперимента предлагается сделать выбор: либо остаться безучастными, что приведёт к гибели пяти человек, либо вмешаться — в результате чего погибнет только один несчастный. Также, для исключения юридического аспекта, иногда добавляют оговорку типа: «Вас никто не видит, и никто не узнает о принятом вами решении».
Выбор в пользу вмешательства обычно ассоциируют с утилитаристской (утилитарной) этикой, то есть такой этической системой, в которой моральная ценность поступка определяется его полезностью, под которой подразумевается суммарное удовольствие или счастье, полученное всеми сторонами. Исследования показывают, что большинство людей в наши дни выбирают именно этот вариант, но есть и те, кто предпочитают путь невмешательства: в конце концов, на первом пути могут быть привязаны пять условных Гитлеров, а на втором — условный Эйнштейн. «Кто мы, чтобы не дать свершиться божественному провидению и решать, кому жить, а кому умереть?» — могут сказать приверженцы какой-нибудь человеколюбивой религии. Однако таких в нашем обществе, похоже, всё-таки меньшинство. Ситуация перестаёт быть такой однозначной, если исходный эксперимент подвергнуть небольшой модификации, как это сделала философ Джудит Томсон. В её формулировке задача становится следующей: «Как и прежде, вагонетка несётся по рельсам, к которым привязаны пять человек. Вы находитесь на мосту, который проходит над рельсами. У вас есть возможность остановить вагонетку, бросив на пути что-нибудь тяжёлое. Рядом с вами находится толстый человек, и единственная возможность остановить вагонетку — столкнуть его с моста на пути. Каковы ваши действия?»
