Читаем без скачивания Больше денег: что такое Ethereum и как блокчейн меняет мир - Виталий Дмитриевич Бутерин

Многие читатели уже наверняка с ней знакомы, поэтому в качестве примера приведу ее безумную версию от Элиезера Юдковского:

Предположим, что четыре миллиарда человеческих существ – не весь род человеческий, но его значительная часть – заразились смертельной болезнью, излечиться от которой можно только с помощью вещества S. Однако добыть вещество S можно только совместно со [странным искусственным интеллектом из другого измерения, у которого лишь одна цель – увеличить количество канцелярских скрепок], для изготовления которых тоже можно использовать вещество S. Искусственный интеллект волнует лишь количество скрепок в его мире; судьба наших скрепок ему безразлична, так что люди не могут предложить ему произвести у себя побольше скрепок или пригрозить уничтожить все свои скрепки. До этого мы никак не взаимодействовали с искусственным интеллектом и после тоже никогда не будем. Прежде чем портал между мирами захлопнется, и у человечества, и у искусственного интеллекта будет шанс захватить дополнительную часть вещества S, но сам процесс захвата уничтожит некоторое количество этого вещества.

Матрица выигрышей будет выглядеть примерно так.

Для нас очевидно, что с практической и, в данном случае, с моральной точки зрения нам лучше всего выбрать предательство: одна скрепка в другой вселенной никак не может стоить миллиарда жизней. Для ИИ очевидно, что предательство с его стороны в любом случае обеспечит ему дополнительную скрепку, а ценность человеческой жизни его код приравнивает к нулю; следовательно, он тоже выберет предательство. Однако при таком раскладе все получат худший результат, чем при обоюдной готовности пойти на сотрудничество. Но если бы ИИ согласился сотрудничать, а мы выбрали предательство, то смогли бы спасти еще больше жизней, а ИИ, при обратном раскладе, мог бы добыть еще одну скрепку.

В реальном мире многие дилеммы заключенного с двумя сторонами и небольшим масштабом разрешаются через механизмы торговли и судебный контроль за соблюдением контрактов и законов. В нашем примере это мог бы быть бог с абсолютной властью над обеими вселенными, которого заботило бы только соблюдение предварительных договоренностей: тогда люди и искусственный интеллект могли бы подписать контракт о сотрудничестве и попросить бога не допустить предательства с обеих сторон. Когда у сторон нет возможности заключить предварительный контракт, законы предусматривают наказание за одностороннее нарушение. Но во многих ситуациях, особенно если в них задействовано много сторон, возможности для предательства все равно остаются:

░ Алиса продает лимоны, но сейчас они подгнили, и покупателям придется сразу выбросить такой товар. Должна ли она продавать лимоны? (Нужно иметь в виду, что на этом рынке очень много продавцов и за репутацией каждого не уследишь.) Ожидаемая выгода для Алисы: $5 выручки за лимон минус $1 расходов на доставку/хранение = $4. Ожидаемые потери для общества в целом: $5 выручки минус $1 расходов минус $5 потраченных впустую денег покупателя = —$1. Алиса в итоге продает лимоны.

░ Должен ли Боб пожертвовать $1000 на разработку Bitcoin? Ожидаемая выгода для общества: $10 × 100 000 человек минус $1000 = $999 000, ожидаемая выгода для Боба: $10 минус $1000 = —$990, так что Боб не жертвует деньги.

░ Чарли нашел чужой кошелек, в котором было $500. Должен ли он вернуть его? Ожидаемая выгода для общества: $500 (получателю) минус $500 (потеря Чарли) плюс $50 (нематериальная выгода для общества от того, что каждый может немного меньше беспокоиться о сохранности своих кошельков). Ожидаемая выгода для Чарли: —$500, так что он оставляет кошелек себе.

░ Должен ли Дэвид снизить расходы своей фабрики за счет сброса токсичных отходов в реку? Что в этом случае получит общество: экономия Дэвида $1000 минус увеличение средних медицинских расходов на $10 × 100 000 человек = —$99 900. Что получит Дэвид: $1000 минус $10 = $990. Дэвид выбирает загрязнение окружающей среды.

░ Ева разработала лекарство от одного вида рака, и производство необходимой дозы обходится в $500. Она может продать его за $1000, и тогда 50 000 больных смогут позволить себе лечение, или за $10 000, и тогда лекарство смогут купить 25 000 больных. Должна ли она продавать лекарство по более высокой цене? Что в этом случае получит общество: −25 000 жизней (включая прибыль Евы, которая компенсирует потери более богатых покупателей). Что получит Ева: доход в размере 237,5 миллиона долларов вместо 25 миллионов долларов, то есть ее выгода составит 212,5 миллиона долларов. Ева выставляет более высокую цену.

Конечно, во многих из этих ситуаций люди могут руководствоваться моральными принципами и выбирать сотрудничество, игнорируя собственную выгоду. Но с чего бы им это делать? Ведь мы созданы эволюцией – довольно эгоистичным механизмом оптимизации. Объяснений много, но сегодня мы сосредоточимся на одном из них, связанном с концепцией сверхрациональности.

СВЕРХРАЦИОНАЛЬНОСТЬ

Рассмотрим следующее описание нравственности, любезно предоставленное Дэвидом Фридманом:

Начну с двух наблюдений о человеческих существах. Первое: существует прочная связь между тем, что происходит внутри и снаружи их голов. Выражение лица, положение тела и множество других признаков дают нам хотя бы некоторое представление о мыслях и эмоциях наших друзей. Второе: наши интеллектуальные способности ограничены. Мы не можем рассмотреть все возможные варианты за время, отведенное для принятия решения. Если говорить на компьютерном жаргоне, мы – машины с ограниченной вычислительной мощностью, работающие в режиме реального времени.

Предположим, я хочу убедить окружающих, что у меня есть определенные качества – что я честен, добр, помогаю своим друзьям. Если у меня действительно есть эти качества, проявлять их легко – я просто буду делать и говорить то, что кажется мне естественным, не обращая особого внимания на то, как смотрюсь со стороны. Окружающие будут наблюдать за моими словами, моими действиями, выражением моего лица и делать достаточно точные выводы. Но, предположим, этих качеств у меня нет. Я (например) не честен. Обычно я поступаю честно, потому что это в моих интересах, но ради собственной выгоды я всегда готов сделать исключение. И теперь во многих конкретных ситуациях я должен выполнить двойной расчет. Во-первых, я должен решить, не подвернулся ли мне шанс украсть и не попасться. Во-вторых, я должен выдумать того человека, которым буду притворяться: его мысли, действия, выражение лица.

Если запустить на компьютере в два раза больше программ, он будет работать медленнее. То же и с людьми. Большинство из нас – не такие уж искусные лжецы. Если признавать верность всех этих утверждений, можно сделать вывод, что я могу быть более обеспеченным в чисто материальном плане – иметь, например, более высокий доход, – если буду действительно честен (и добр, и так далее…), просто потому что подлинная нравственность убедительнее притворной. Поэтому, будучи крайним эгоистом, я мог бы из чисто эгоистических соображений захотеть стать лучше – более нравственным в тех проявлениях, которые ценятся другими людьми.

Это рассуждение приводит к идее, что мы действительно можем стать лучше – это