преступления, связанные с марихуаной, в девять раз чаще, чем белых, несмотря на одинаковые уровни употребления), то использование таких данных в алгоритме увековечит эти предубеждения под маской объективности.
Схемы арестов, порожденные расовой предвзятостью, подсказывают, куда нужно направлять полицию для выявления новых преступлений. В своей выдающейся книге «Убийственные большие данные»[18] Кэти О’Нил называет это гибельной петлей обратной связи, в которой контроль сам по себе порождает новые данные, оправдывающие усиление контроля. Это перекликается со знаменитым эффектом уличного фонаря, когда пьяница ищет потерянные ключи под фонарем не потому, что там их выронил – там светлее. Но здесь речь идет о преступности и расе, а не о потерянных пьяницей ключах.
Или возьмем хорошо известную проблему распознавания лиц с идентификацией темнокожих людей. В 2018 году ACLU, используя Rekognition, общедоступный инструмент Amazon для распознавания лиц, собрал из открытых источников в одну базу данных 25 000 фотографий арестантов. После этого исследователи прогнали через эту базу фотографии всех действующих членов Конгресса, и программа ошибочно идентифицировала двадцать восемь из них как преступников. Целых 40 % из этих двадцати восьми были цветными[19]. Для Amazon это был конфуз, но в реальном мире такая ошибка могла иметь фатальные последствия.
Так что же делать обеспокоенному гражданину? Должны ли мы настаивать на национальном и государственном запрете распознавания лиц, алгоритмов уголовного правосудия и других новых технологий – по той причине, что они несоразмерно угрожают гражданским свободам цветных людей? Это было бы целесообразно, но вряд ли дело зайдет так далеко: возможно, в более либеральных городах и штатах запреты и введут, но в других местах цветные граждане останутся незащищенными. И проблема не в технологии. Проблема – это не устраненная расовая предвзятость в системе уголовного правосудия, и мы рискуем усугубить ее, если притворимся, что технология способна по мановению волшебной палочки стать расово нейтральной, в то время как методы и данные, на которых она основана, никогда таковыми не были.
В любой гуманной правовой системе заложено противоречие. С одной стороны, мы хотим, чтобы законы применялись справедливо и объективно. Когда одному человеку сходит с рук то, за что наказывают другого, это оскорбляет наше чувство справедливости. С другой стороны, нам нужно какое-то пространство для неповиновения. Переход улицы в неположенном месте – это правонарушение, но обязательно ли штрафовать каждого, кто хотя бы раз пересекает проезжую часть вдали от пешеходного перехода? Это было бы справедливо, но бесчеловечно. Мы хотим иметь возможность игнорировать некоторые правила на свой страх и риск, при условии, что это не причиняет никому вреда. И нам нужна мера понимания, когда мы их нарушаем, например, не всегда штраф, а временами только предупреждение, если полицейский останавливает нас за превышение скорости.
Возникающие сегодня технологии, которые собирают и хранят больше информации о большем количестве людей с меньшими усилиями, чем когда-либо в истории человечества, ставят под угрозу именно это пространство для неповиновения. Есть риск, что они создадут общество, в котором все на виду, все наказывается и ничто не забывается. Я не хочу жить в таком мире и сомневаюсь, что этого хотите вы. В наших силах предотвратить его появление.
Как это сделать? Начнем вот так: воспользуемся нашей свободой слова, чтобы публично выступать против беспрепятственного использования технологий слежения. Будем пользоваться правом на создание ассоциаций, чтобы находить и организовывать других людей, которые думают так же. Будем использовать свободу собраний, чтобы появляться на заседаниях городских и окружных советов и требовать от местных властей, а в итоге и от федерального правительства, точных объяснений: какую технологию они хотят взять на вооружение, почему именно эту и каким образом. Мы требуем, чтобы они написали правила применения технологий, прежде чем открыть первую коробку с любым новым гаджетом. Мы требуем, чтобы они регулярно и публично отчитывались о том, что именно используется, когда и в каких целях. И мы требуем принять меры для защиты наших данных. Нужно, чтобы они хранились ответственно. Необходимы гарантии, что доступ к данным есть только у тех, кто имеет законные основания их видеть. Наконец, данные должны удаляться как можно быстрее, особенно если нас не обвиняли или не подозревали в совершении преступления.
Эта задача может показаться сложной. Многие люди, в частности многие белые представители среднего класса, у которых, как правило, нет таких же напряженных отношений с полицией, как у цветных, привыкли относиться к правоохранительным органам с почтением и не задавать трудных вопросов. Немногие из нас ходят на заседания городского или окружного совета. Я понимаю: мы заняты, и по вечерам нам трудно находить время для встреч, посвященных разрешениям, законам о зонировании и дорожной полиции. Возможно, мы считаем такие занятия скучными и местечковыми, предпочитаем смотреть общенациональные новости или активничать на более важных площадках. Но большинство полицейских сил контролируются и управляются именно на местном уровне, а потому реагируют на местную политику и проблемы. Итак, первый шаг к обузданию государственной слежки – это проявиться и подать голос.
Важно, чтобы полиция вначале объясняла, почему ей понадобилась новая блестящая игрушка или гениальное программное обеспечение для предотвращения преступлений, и только потом начинала думать о покупке. И если настаивать на прозрачных правилах использования технологий, будут последствия, выходящие за рамки краткосрочной защиты наших гражданских свобод. Это поможет противостоять тому, что один мой знакомый активист проницательно назвал технодетерминизмом (концепция, что все изобретенное должно быть использовано, что возражать против любого использования новаций, угодного правоохранительным органам, означает быть луддитом, безразличным к общественной безопасности). Так мы будем напоминать технологическим компаниям и выборным чиновникам, а также (возможно, это главное!) самим себе и друг другу, что мы все еще живем в демократической стране и сами решаем, как нами следует управлять.
Парадокс: добиваясь такого подхода, мы помогаем улучшить отношения между полицией и населением. Это может звучать нелогично. Однако не обязательно выражать свои требования в агрессивной форме. Это можно делать твердо, но вежливо, через установленные демократические каналы. В Окленде комиссия по конфиденциальности при городском совете дает гражданам возможность высказывать свои опасения полиции еще до того, как проблемы начнут нарастать. По сути, это способ позволить обществу и полиции установить прочные, уважительные рабочие взаимоотношения.
Некоторым читателям это покажется чересчур оптимистичным. Возможно, вы считаете, что вашей районной полиции доверять нельзя. Возможно, вы полицейский и думаете, что граждане никогда не поймут специфики вашей работы. Но демократия не может функционировать, если несогласные стороны отворачиваются друг от друга. И если мы не будем высказываться – если просто позволим государству накапливать и хранить все больше и больше данных, которые генерируем, – своим бездействием мы ускорим
