4. Проблема чрезмерного доверия моделям. На заре компьютерной эры люди часто не доверяли прогнозам, построенным машинами на основе применения статистических моделей. Это нередко приводило к курьёзным последствиям. Наверное, самый известный случай — это события, произошедшие в ночь с 3 на 4 ноября 1952 г., когда компьютер UNIVAC был запрограммирован для предсказания результатов выборов президента США, на которых в борьбе сошлись Эдлай Стивенсон и Дуайт Эйзенхауэр. Телекомпания CBS должна была транслировать этот эксперимент, и её тележурналист Уолтер Кронкайт так описал подготовку к нему: «Машина должна предсказывать результаты выборов каждый час, базируясь на результатах за те же периоды времени в ночь выборов 1944 и 1948 годов. Учёные, которых мы привыкли называть длинноволосыми [long hairs], работали над сопоставлением фактов [с этими предсказаниями] последние два или три месяца». Но в конце речи он сделал оговорку: «На самом деле, мы не слишком зависим от этой машины. Это может оказаться и второстепенным шоу, мы не знаем, а потом опять же… для некоторых людей оно может оказаться очень уникальным и значимым»[3183], [3184].
По всей видимости, для того, чтобы ещё больше не зависеть от машины, находящейся в телестудии, сама машина была заменена макетом. Сделка, в соответствии с которой телекомпания CBS получила для демонстрации поддельный UNIVAC (настоящая машина находилась на другом конце линии связи — в Филадельфии), появилась из просьбы телевизионной сети к компании Remington Rand о бесплатном предоставлении во временное пользование сотни электрических пишущих машинок и счётных машин. Взамен это оборудование должно было появиться на экранах во время освещения ночи выборов, то есть по сути предполагалась бесплатная реклама бесплатно предоставленных машин. Но более привлекательной идеей оказалось бесплатное предоставление компьютера взамен на его бесплатную рекламу.
По результатам подсчёта всего 3 млн голосов (7%) UNIVAC предсказывал триумф Эйзенхауэра: 438 голосов коллегии выборщиков против 93 за Стивенсона. Большинство прогнозов предсказывало близкие друг к другу результаты кандидатов, поэтому такому прогнозу в Филадельфии просто не поверили. Ввиду этого программисты быстро внесли исправления в программу, чтобы получить более «правдоподобный» результат, который и был продемонстрирован. Однако в итоге оказалось, что Эйзенхауэр получил 442 голоса против 89 — то есть очень близко именно к первоначальному прогнозу! Когда ночная история выплыла наружу, известный американский тележурналист Эд Мерроу сказал: «Главная проблема с машинами — это люди»[3185], [3186].
В наши дни люди часто, напротив, склонны переоценивать качество решений, предлагаемых моделями, предполагая, что модель обладает сверхчеловеческими способностями. На самом деле поведение модели может быть связано с дефектами, допущенными на стадии разработки. Недоверие к системам ИИ легко переходит в безоговорочное принятие. Люди не всегда отдают себе отчёт в том, что тот факт, что некоторая система ИИ выиграла в го или шахматы у чемпиона мира, вовсе не значит, что система кредитного скоринга не ошибётся, присваивая клиенту кредитный рейтинг. ИИ очень часто воспринимается людьми как некая универсальная сверхчеловеческая сущность — такое представление активно формируется под влиянием плохого кино и бульварного чтива. В действительности мы имеем дело с разными системами, создававшимися разными командами, обладающими разными свойствами и предназначенными для решения совершенно разных задач, — такое положение дел характерно для эпохи прикладного ИИ.
В своей весьма пессимистичной по духу книге «Искусственная неразумность: как компьютеры неверно понимают мир» (Artificial Unintelligence: How Computers Misunderstand the World)[3187] (в русском переводе заголовок книги звучит как «Искусственный интеллект: пределы возможного»[3188]) профессор Нью-Йоркского университета Мередит Бруссард обращает внимание на опасность техношовинизма — наивной веры в то, что технологии сами по себе могут решить все существующие в обществе проблемы. Такой подход может приводить к формированию специфического «слепого пятна». Качество решений, предлагаемых системами, основанными на машинном обучении, сильно зависит от особенностей данных, на которых эти системы были обучены. При этом сами данные являются продуктом определённых процедур, несущих на себе отпечаток существующих социальных практик. Простой пример — библиотеки научных публикаций. Исследователи, которым не удалось подтвердить свои изначальные гипотезы, часто отказываются от публикации результатов. В итоге в подавляющем большинстве опубликованных работ эксперименты подтверждают гипотезы, хотя в реальных исследованиях это совсем не так. Данные могут содержать намеренные и ненамеренные искажения, распределение данных в базе может отличаться от распределения соответствующих им объектов или явлений реального мира (по самым разным причинам), наконец, данные могут быть просто неполны. Существующие в данных корреляции могут ошибочно интерпретироваться создателями систем ИИ как причинно-следственные связи. Но даже если в процессе создания подобных систем и удастся обойти существующие подводные камни, то неразумное применение плодов «искусственного разума» может привести к нежелательным последствиям.
Бруссард показывает, какие ошибки можно сделать, пытаясь создать систему, предсказывающую вероятность выживания в кораблекрушении на основе сведений о судьбе пассажиров «Титаника», особенно если не вдаваться в содержательный анализ событий, стоящих за этим небольшим массивом данных.
Например, шлюпки с нечётными номерами спасли больше людей, чем шлюпки с чётными номерами. Значит ли это, что для повышения безопасности следует всем спасательным шлюпкам давать нечётные номера? В действительности за этой сухой статистикой скрывается драматическая история. Капитан корабля при организации эвакуации отдал приказ сажать в шлюпки женщин и детей, а затем спускать шлюпки на воду. Офицеры, отвечавшие за эвакуацию, поняли этот приказ по-разному. Первый офицер, который отвечал за спасательные шлюпки на правом борту (с нечётными номерами), подумал, что капитан велел сажать в шлюпки женщин и детей в первую очередь (т. е. мужчин сажали в шлюпки, если поблизости не было женщин и детей). Второй офицер, отвечавший за шлюпки левого борта (с чётными номерами), посчитал, что сажать в шлюпку нужно только женщин и детей. В итоге большинство спасшихся пассажиров «Титаника» покинули корабль на шлюпках правого борта (разумеется, были и иные факторы, повлиявшие на это соотношение)[3189].
Доля выживших пассажиров «Титаника» была существенно выше среди тех, кто путешествовал по более дорогим билетам. Значит ли это, что страховая компания может снизить стоимость страховки для пассажиров, отправляющихся в круиз в каютах первого класса? Ведь данные говорят нам о том, что их шансы погибнуть при кораблекрушении будут ниже.
В общем, не стоит думать, что «умные машины» решат все проблемы человечества самостоятельно — использование продвинутых вычислительных моделей вовсе не является гарантией отсутствия ошибок в результатах, полученных с их помощью. И даже в случае отсутствия ошибок полученные результаты ещё нужно понять и правильно ими распорядиться. В общем-то на эту тему в своё время высказался ещё Чарльз Бэббидж: «Однажды меня спросили [члены парламента]: „Если ввести в машину неправильные числа, она даст верный ответ?“ <…> Я не могу взять в толк, какая мешанина идей должна быть в голове, чтобы спросить такое»[3190].
