Прогресс в области синтетической биологии вполне может оказаться палкой о двух концах и стать основой смертоносного оружия, доступного биологам-дилетантам или биохакерам. По мере того как снижается стоимость, а секвенирование и синтез ДНК улучшаются, ученые закладывают фундамент для развития отрасли. Первыми попытками поставить дело на коммерческие рельсы было снабжение инструментами и недорогими материалами исследовательских институтов и компаний. Биологическим сообществом был создан находящийся в свободном доступе архив стандартизированных и взаимозаменяемых фрагментов, так называемых биокирпичей, которые используют исследователи. Такие шаги не только вносят существенный вклад в исследование все более инновационных и ценных методов конструирования искусственных организмов, таких как, например, водоросли, поглощающие токсичные отходы, но и повышают вероятность ненамеренных открытий, которые можно использовать двояко. Прогресс, открывающий новые возможности в медицине, сельском хозяйстве и энергетике, одновременно повышает риск «биотеррора», который может привести к распространению смертельно опасных вирусов или разработке биологического оружия на основе технологий двойного действия. Все это приобретает актуальность по мере того, как технологии становятся все более доступными в мировом масштабе. В результате сложнее отслеживать, регулировать или ослаблять биотеррор, а может, и фатальные биологические ошибки. Я подробнее рассмотрю вопросы двоякого использования биотехнологий и сопряженных с ним трудностей в области безопасности в главе 6.
Мы также рискуем перейти грань и потерять контроль над большими данными. Большие данные и алгоритмы, позволяющие выделить ценную информацию, все важнее для функционирования наших экономик. Большие данные и ИТ подпитывали биотехнологическую революцию и масштабные открытия в других областях. Устройств, подключенных к интернету, будет становиться все больше. По некоторым оценкам, сейчас их число составляет более 15 млрд. Это и смартфоны, ноутбуки и стационарные компьютеры, и сенсоры, следящие за аграрным производством, городской инфраструктурой, здоровьем и местоположением скота, инженерными системами зданий, медицинским оборудованием и даже лесом и отдельными деревьями. Возможен резкий скачок эффективности. Как сегодня розничные сети собирают информацию о своих покупателях – их привычках, кредитах, истории поиска в интернете, сообщениях в социальных сетях, демографической информации и т. д., – чтобы ориентироваться на их предпочтения, городские власти могут комбинировать информацию с датчиков и размещенных в разных местах камер, чтобы лучше понимать поведение жителей, их потребность в транспорте, а также требования к городской инфраструктуре в целом. На этом список сфер использования больших данных и интернета не заканчивается.
Но чем дальше, тем больше решений будут принимать и сами компьютеры. И именно здесь нам необходимо ввести меры безопасности на случай сбоя. В начале 2014 г. прошло сообщение, что один из мощнейших суперкомпьютеров в мире – японский K. – создал наиболее точную симуляцию человеческого мозга из когда-либо существовавших, которой требуется 40 минут на то, чтобы воспроизвести одну секунду человеческой мозговой деятельности. Ученые предполагают, что симуляция работы мозга в полном объеме будет возможна тогда, когда появятся еще более мощные компьютеры. Скорее всего, это произойдет в следующие 10 лет{104}. Понимание устройства человеческого мозга и способность воспроизвести его имеют широкое применение в медицине при лечении таких заболеваний, как болезни Альцгеймера, Паркинсона, и множества других нарушений работы мозга. Это также даст существенный стимул в работе над созданием искусственного интеллекта и применении больших данных.
Первые исследователи искусственного интеллекта разработали алгоритмы, которые шаг за шагом имитировали ход мысли людей, когда они складывают головоломки или делают логические выводы. Правда, люди решают большинство своих проблем, используя быстрые интуитивные суждения, а не осознанную последовательную логику, которую умел моделировать искусственный интеллект на начальном этапе. Исследования в области искусственного интеллекта несколько продвинулись вперед в том, что касается имитации мозговой деятельности, но удачная симуляция деятельности человеческого мозга, сделанная не так давно японским компьютером, поможет продвинуться в ее понимании. Здесь необходимо также сделать шаг вперед в развитии алгоритмов, которые использует компьютерная программа для воссоздания работы мозга. Поиск более эффективных алгоритмов для поиска решения проблем стал для исследований в области искусственного интеллекта первоочередной задачей{105}.
Мой коллега по Атлантическому союзу доктор Бэннинг Гаррет исследовал проблему мира, управляющегося алгоритмами, и рисков, с ним связанных{106}. Он отмечает, что прогресс в сфере алгоритмов привлек гораздо меньше внимания общественности, чем рост производительности микропроцессоров (причем скорость развития алгоритмов существенно выходит за рамки закона Мура). Скорости процессоров ускорились в 1000 раз, но за тот же период, с 1988 по 2003 г., работа алгоритмов улучшилась аж в 43 тысячи раз. Алгоритмы и интернет вещей, который все чаще называют интернетом всего, – союз, заключенный на небесах, вносящий существенный вклад в науку, здравоохранение, эффективное использование ресурсов и умные города. Однако вместе большие данные и алгоритмы могут привести к массированной атаке на личную информацию. Более того, есть огромный потенциал для злоупотребления алгоритмами прогнозирования. «Уже сегодня страховые компании и комиссии по условно-досрочному освобождению используют прогнозные алгоритмы, чтобы вычислять риски; в США все больше мест, где работа полиции осуществляется на основе прогнозирования, после обработки данных выбираются улицы, группы или отдельные люди, которые становятся объектами более пристального внимания», – рассказал Гаррет.
Как объяснил Гаррет, основной ограничивающий фактор для анализа алгоритмов заключается в том, что результаты основываются на корреляциях, а не причинной зависимости. В своей книге о больших данных Виктор Майер-Шенберг и Кеннет Кукьер объясняют, что корреляции хороши, если их можно обнаружить «гораздо быстрее и дешевле, чем причинную зависимость»{107}. Однако ложные корреляции могут привести к ошибочной оценке со всеми вытекающими: например, преследование правоохранительными органами невинных граждан на основе предсказанной склонности к совершению преступлений.
Стэнфордский профессор и археолог Ян Моррис в своей последней книге «Война! Для чего она нужна?» начинает повествование с инцидента, который мог бы уничтожить большую часть мира, если бы не было системы защиты на случай сбоя алгоритма. Станислав Петров дежурил на командном пункте советской системы предупреждения ракетного нападения в Серпухове-15. Алгоритмы, над которыми работали Петров и его команда, зафиксировали 26 сентября 1983 г. запуск ракет из США. К счастью, Петров понял, что тревога ложная, и убедил советский Генштаб, что произошел сбой алгоритма. Ему пришлось принять решение за доли секунды и добиться того, чтобы его руководство отменило ответный удар{108}.
Остается надеяться, что в будущем таких ложных тревог не будет. Однако пример ситуации, случившейся несколько десятилетий назад, еще до появления суперкомпьютеров, невероятного расширения использования и развития алгоритмов, ставших сегодня привычными во всех сферах жизни, а не только в системах предупреждения ракетного нападения, только подчеркивает опасность.
Гаррет справедливо предупреждает: неважно, насколько хорошо написаны и качественно протестированы алгоритмы. В реальной жизни существуют исключительные ситуации, и они возникают тогда, когда алгоритмы сталкиваются с непредвиденным сочетанием событий или факторов. А значит, кибербезопасность становится все более важной темой по мере того, как все больше «вещей» подключаются к интернету. С подключением новых устройств появляются новые уязвимые места, а для компаний, ориентированных на повышение эффективности систем коммутации, «безопасность не является главной заботой на этом высококонкурентном рынке»{109}. При наличии миллиардов устройств, запрограммированных выполнять разнообразные функции автономно и асинхронно, любой узел может стать вектором атаки на всю систему{110}. В конце концов, это мир, где «машины при помощи сложных алгоритмов и адаптивного поведения [теперь] ведут себя как разумные исполнители, действующие по поручению человека. Выполняя задачи от оптимизации организации движения до наблюдения за здоровьем пожилых или детального контроля использования электроэнергии, “интернет всего” призван сделать мир разумнее, а нашу жизнь проще. Но хакерам будет куда легче нанести серьезный ущерб в реальном мире»{111}. Уже было несколько тестовых случаев, когда компьютеризированные системы в современных автомобилях и электронные кабинеты для ведения медицинской документации продемонстрировали, насколько они уязвимы перед хакерской атакой{112}. Учитывая возможность серьезного ущерба или даже катастрофы, ключевым системам в будущем понадобится отдельная система для управления и мониторинга.
