Анализ на основе разрывности. Один из способов создать подопытную и контрольную группы – сравнить исходы для какой-то группы, которая едва подходит для воздействия или активирования, с исходами для группы, которая едва превысила порог непригодности и не получает активирования. Те, кто окажется чуть выше или чуть ниже некоторого случайно выбранного предела, например результата сдачи экзаменов или минимального дохода семьи, будут почти идентичны во многих важных отношениях; то обстоятельство, что одна группа получила активирование, а другая – нет, является, по сути, делом случая. В итоге мы можем сравнить их исходы таким способом, который позволял бы сделать значимые выводы относительно эффективности соответствующего воздействия.
Допустим, какому-то учебному округу требуется летняя школа, в которой могли бы заниматься отстающие ученики. Руководство округа хотело бы знать, представляет ли собой какую-либо долгосрочную учебную ценность такая программа летнего обучения. Как обычно, простое сравнение учеников, посещающих и не посещающих эту школу, было бы не только бесполезно, но даже вредно. Ученики, которые посещают такую школу, ходят туда именно потому, что являются отстающими. Даже если программа обучения в этой школе весьма эффективна, успеваемость ее учеников в долгосрочной перспективе все же, по-видимому, будет хуже, чем успеваемость учеников, не нуждающихся в дополнительных занятиях. Мы хотим знать, какой будет успеваемость отстающих учеников после посещения летней школы по сравнению с их успеваемостью в случае, если бы они ее не посещали. Да, мы могли бы провести нечто вроде управляемого эксперимента, в ходе которого случайным образом отобрали бы отстающих учеников для посещения летней школы, и, соответственно, отстающих учеников, которые не будут в нее ходить (контрольная группа). Однако это бы предполагало отказ контрольной группе в доступе к программе обучения в летней школе, между тем как мы предполагаем, что обучение в летней школе будет полезно всем отстающим ученикам.
Вместо этого подопытная и контрольная группы создаются путем сравнения учеников, которые оказались чуть ниже порога для летней школы, с учениками, которые находятся чуть выше этого порога. Это можно представлять себе так: ученики, провалившие экзамены по итогам полугодия, существенно отличаются от учеников, которые успешно их сдали. Но ученики, набравшие 59 % от максимальной суммы баллов (что не дает им права перейти в следующий класс), не столь уж сильно отличаются от учеников, у которых 60 % от максимальной суммы баллов (проходной балл). Если для тех, кто провалил экзамены по итогам полугодия, организовать некую программу обучения (например, обязательная подготовка к выпускным экзаменам под руководством преподавателя), то у нас появились бы приемлемые подопытная и контрольная группы, где бы мы сравнили результаты выпускных экзаменов тех, кто недобрал самую малость до проходного балла (и получил возможность готовиться под руководством преподавателя), с результатами тех, кто едва превысил проходной балл в ходе сдачи экзаменов по итогам полугодия (и не пользовался помощью преподавателя).
Этот подход был применен, чтобы определить эффективность тюремного заключения малолетних преступников в качестве сдерживающего фактора от повторного совершения преступлений. Очевидно, при выполнении такого анализа нельзя просто сравнивать уровень повторной преступности среди несовершеннолетних, получавших тюремные сроки, и тех, кто отделался более легким наказанием. Малолетние преступники, которых сажают в тюрьму, как правило, совершают более серьезные преступления, чем малолетние преступники, получающие более легкие приговоры; именно поэтому их и сажают за решетку. Естественно, мы не можем создать подопытную и контрольную группы путем случайного назначения тюремных сроков (если не хотите на двадцать пять лет угодить за решетку за то, что повернули на красный свет). Исследователь Рэнди Хьялмарссон, которая в настоящее время работает в Лондонском университете, воспользовалась статистикой вынесенных приговоров для малолетних преступников в штате Вашингтон, чтобы понять, как влияет тюремное заключение на будущее криминальное поведение этих людей. В частности, она сравнила уровень повторной преступности среди несовершеннолетних, получивших тюремный срок буквально «на грани» действующего уголовного законодательства, с уровнем повторной преступности среди тех малолетних преступников, кто избежал тюремного срока также буквально «на грани» (то есть «отделался выплатой штрафа или условным сроком»){94}.
Система уголовных наказаний в штате Вашингтон создает для каждого осужденного некую систему координат, используемую для администрирования меры наказания преступника. Ось X измеряет признанные судом прежние преступления данного осужденного. Например, каждое прежнее тяжкое уголовное преступление оценивается в один балл; каждое прежнее уголовное преступление, не относящееся к категории тяжких, оценивается в четверть балла. Сумма баллов округляется до ближайшего меньшего целого значения (почему это важно, станет понятно из дальнейшего объяснения). По оси Y измеряется тяжесть текущего преступления по шкале от E (наименее тяжкое) до A+ (самое тяжкое). Приговор осужденному вычисляется (в буквальном смысле) путем нахождения подходящей клетки в такой системе координат. Осужденный, предыдущие преступления которого оцениваются в два балла, совершивший тяжкое уголовное преступление класса B, получает от пятнадцати до тридцати шести месяцев тюремного заключения. Осужденный, предыдущие преступления которого оцениваются лишь в один балл, совершивший такое же уголовное преступление, не отправляется за решетку. Именно такая разрывность шкалы наказания определила выбор стратегии исследования. Рэнди Хьялмарссон сравнила исходы для осужденных преступников, которые оказались чуть выше и чуть ниже порога получения тюремного срока. Как объясняет Хьялмарссон в своей статье: «Если есть два преступника с текущим преступлением класса С+ и суммами баллов за предыдущие приговоры 2¾ и 3, то лишь последний из этих двоих будет отправлен в тюрьму».
С точки зрения данного исследования эти два человека, по сути, одинаковы – пока один из них не попадет за решетку. С этого момента их поведение резко разнится. Вероятность осуждения малолетних преступников, попавших за решетку, за какое-либо другое преступление после их освобождения из тюрьмы оказывается существенно ниже.
Нас интересуют прежде всего действенные способы анализа. Это касается медицины, экономики, бизнеса, уголовного судопроизводства и всего остального. Все же причинно-следственные зависимости – крепкий орешек, который не так-то просто расколоть даже в случаях, когда причина и следствие кажутся совершенно очевидными. Чтобы уяснить подлинную эффективность того или иного активирования, нужно знать, «что было бы в противном случае», то есть в отсутствие соответствующего активирования, или воздействия. Зачастую узнать это не так-то легко, а порой и невозможно. Рассмотрим пример не из области статистики. Оказалась ли Америка в большей безопасности после вторжения в Ирак?
Существует лишь один честный ответ на этот вопрос: мы никогда не узнаем это наверняка. А не узнаем потому, что нам не дано знать, что случилось бы, если бы Америка не вторглась в Ирак. Да, Соединенные Штаты не нашли в Ираке оружия массового поражения. Но не исключено, что на следующий день после того, как США не вторглись в Ирак, у Саддама Хусейна во время принятия душа могли бы возникнуть следующие мысли: «А не обзавестись ли мне водородной бомбой? Может быть, Северная Корея продаст мне парочку?» Кто знает, что случилось бы потом…
Правда, на следующий день после того как Соединенные Штаты не вторглись в Ирак, Саддам Хусейн во время принятия душа мог бы подумать: «А не обзавестись ли мне…», после чего ему на голову могла бы упасть отвалившаяся от стены кафельная плитка и он бы умер, так и не додумав до конца интересную мысль о возможности покупки водородной бомбы.
В этом случае мир избавился бы от Саддама Хусейна, не понеся колоссальных издержек, связанных с вторжением Америки в Ирак. Короче говоря, вариантов – множество, но никто никогда не сможет сказать наверняка, что случилось бы, если бы Америка не вторглась в Ирак.
Задача любой программы статистического оценивания – узнать, «что было бы в противном случае». Только так мы можем измерить эффективность того или иного активирования, или воздействия. В случае статистического управляемого эксперимента роль «что было бы в противном случае» исполняет контрольная группа. В случаях, когда проведение управляемого эксперимента нецелесообразно или невозможно по этическим соображениям, нужно найти какой-то другой способ приближения того, «что было бы в противном случае». Наше понимание окружающего мира зависит от нахождения разумных способов решения этой задачи.
