Итак, об обмане в исследованиях.
Явный подлог
Подлог и фальсификация данных — это настоящая пощечина обществу. В этой главе мы познакомимся с различными коварными уловками, с пограничными случаями (балансирующими на грани полуправды и полулжи), и случаями изящного плутовства на грани дозволенного. Из всех способов одурачивания больше всего я не люблю подлог, потому что для подделки чего бы то ни было большого ума не требуется. Мошеннику не нужны ни изощренная методология, ни умение правдоподобно отрицать вину, ни доводы, подкрепляющие факты. Мошенник берет и просто выдумывает результаты. Уничтожать информацию, игнорировать факты, придумывать — и так по кругу — вот и все, что ему нужно уметь делать.
К счастью для меня и для пациентов, такой род подлога сравнительно редок, насколько можно судить по свидетельствам очевидцев. Лучшая на текущий момент оценка распространения случаев фальсификации была сделала авторами систематического обзора 2009 года, в котором были сведены все результаты исследований 21-й работы. В ходе исследования специалистов из различных областей науки опросили на предмет фальсификации данных. Неудивительно, что в зависимости от постановки вопроса люди давали разные ответы. 2 % респондентов признались в том, что занимались фабрикацией, фальсификацией или редактированием данных по крайней мере один раз в своей карьере, однако число утвердительных ответов выросло до 14 %, если интервьюируемых спрашивали, известно ли им о подобного рода поступках их коллег. Треть опрошенных допустила также и применение сомнительных исследовательских практик в ходе эксперимента, и снова эта цифра выросла до 70 %, когда их спросили о коллегах.
Можно частично, если не полностью, объяснить такую большую диспропорцию в количестве ответов на вопросы, адресованные напрямую респондентам, и на те, что касались их коллег, тем фактом, что опрашиваемый — один человек, но у него много знакомых, однако поскольку вопросы обсуждались деликатные, можно допустить, что количество утвердительных ответов занижено. Чтобы быть до конца откровенным, нужно сказать, что представители таких наук, как медицина или психология, склонны к фабрикации данных больше, так как при проведении различных исследований многие факторы разнятся, и это означает, что идеальное воспроизведение предыдущих результатов возможно крайне редко. В итоге никто не заподозрит ничего плохого в том, если ваши результаты будут противоречить результатам другого исследования. В областях науки, где исход экспериментов более очевиден и выражается наличием или отсутствием чего-либо, неудача при воспроизведении результатов выявит мошенника гораздо быстрее.
Специалисты во многих сферах науки склонны к пристрастному отбору данных для отчета, и даже некоторые очень известные ученые совершали манипуляции с результатами своих исследований. Американский физик Роберт Милликен получил Нобелевскую премию в 1923 году после демонстрации эксперимента с капельками масла, доказав, что электричество существует в виде отдельных элементов — электронов. Милликен был ученым среднего уровня (пик, когда совершаются подлоги) и долгое время не мог похвастаться большими достижениями в своей карьере. В своей знаменитой работе, опубликованной в «Физическом обзоре» он написал: «Это не выборочные результаты по отдельной группе капель, а результаты по всем каплям за время эксперимента, который продолжался в течение 60 дней». Это утверждение не соответствовало действительности. В работе упоминалось о 58 капельках, но в его записной книжке значилось 175. Напротив стояли записи типа «Прекрасно! Публиковать эти данные» и «Не совпадает, это не сработает». В научной литературе через несколько лет разгорелись ожесточенные дебаты о том, считать ли это подлогом и насколько Милликену повезло, что его результаты смогли быть воспроизведены впоследствии. Но в любом случае, отобранные им данные для отчета (и их пристрастное толкование), были получены во время проведения непрерывной цепи исследовательских действий, которые кажутся абсолютно невинными, если их не изучать слишком пристально. Что делать исследователю с резко выделяющимися показателями в одной графе таблицы, если цифры во всех остальных ее графах выглядят так безупречно? А если что-то упало на пол? А что если машина была неисправна? По этой причине во многих экспериментах действуют четкие правила относительно исключения данных.
Также существует и такой феномен, как явная фабрикация данных. Так доктор Скотт Ройбен, американский анестезиолог, работавший над созданием обезболивающего средства, за всю свою жизнь не провел и 20 клинических исследований из всех, что были описаны им в статьях, опубликованных за прошедшие 10 лет.1 В некоторых случаях он даже не делал вид, что получил лицензию на проведение тестирования лекарств на пациентах в клинике, где работал, а просто вписывал в отчет о результатах исследования цифры, которые придумывал на ходу. Нам никогда не следует забывать, что данные в медицине добывают не для каких-то абстрактных целей или построения отвлеченных теорий. Ройбен утверждал, что будто бы нашел вещества не из группы опиатов, которые при этом были такими же эффективными для послеоперационного купирования боли, как и опиаты. Новость всех восхитила. Опиаты обычно вызывают зависимость и имеют много побочных эффектов. Практика проведения обезболивания во многих странах изменилась, и сейчас в этой сфере царит настоящая путаница. Мошенничество с фактами имеет место в разных сферах медицины, и оно опасно тем, что в результате подлога данных врач и пациент могут принять неверные решения, однако когда речь заходит о боли, вряд ли можно нанести пациенту больший вред.
Есть различные способы, как можно поймать мошенника, однако постоянный неусыпный контроль со стороны медицинских и научных учреждений — не выход, так как не всегда можно вести достаточно строгий мониторинг нарушений. Часто факт подлога или фальсификации раскрывается коллегами мошенника из корыстных побуждений, становится известен случайно либо разоблачается при возникновении сомнений в правдоподобности результатов. Малкольм Пирс, например, британский хирург-акушер, опубликовал отчет о случае, где утверждал, что он удалил внематочную беременность, затем имплантировал плод женщине, а в результате у нее родился здоровый ребенок. Анестезиолог и хирургическая сестра, работавшие в той же больнице, посчитали случившееся маловероятным и заявили, что наверняка услышали бы о таком примечательном случае. Они проверили все истории болезни, не нашли ни одной записи о проведении подобной операции, и таким образом все усилия хирурга пошли прахом.2 Примечательно, что в том же номере журнала была опубликована еще одна статья Пирса, в которой сообщалось об исследовании, где принимали участие 200 женщин с синдромом поликистозных яичников, которых Пирс лечил от повторяющихся выкидышей. Исследование не имело места, и оказалось, что Пирс не только сочинил всю историю от начала до конца, придумал имена пациентов и результаты, но и выдумал название несуществующей фармацевтической компании, которая якобы финансировала исследование. В эпоху Интернета ложь, подобная этой, будет жить недолго.
Есть и другие методы обнаружения фактов подлога. Человеческий мозг — очень плохой генератор случайных чисел, поэтому простые случаи фальсификации данных часто раскрывались статистиками судебной медицины, которые обращали внимание на частоту повторяемости последних цифр. Если некто будет выдумывать числа на ходу и вписывать их в колонку в случайном порядке, то наиболее часто повторяемой цифрой всегда будет семерка, которая нравится нашему подсознанию больше всего. Чтобы замаскировать подлог, фальсификатору нужен генератор случайных чисел, однако прибегнув к его помощи, он столкнется с другой интересной проблемой, которая называется эффект идеального единообразия в случайных числах. Так немецкий физик Ян Хедрик Шен выступал соавтором приблизительно одной работы каждую неделю на протяжении 2001 года, однако его результаты выглядели слишком уж точными. В конечном счете кто-то заметил, что в двух исследованиях на результаты идеальной модели был наложен один и тот же «шум» из цифровых данных. Оказалось, что многие числа были сгенерированы на компьютере с использованием тех же самых уравнений, которые должны были использоваться для проверки данных вместе с якобы случайными реалистично выглядящими вариациями, встроенными в модель.
Есть множество способов, к которым следует прибегать для выявления случаев явной и наглой фальсификации. Нам нужно проводить более тщательные и качественные расследования; регулярно вести более совершенный мониторинг; налаживать отношения с редакторами журналов, мотивируя их сообщать о подозрительных работах, отвергнутых ими; обеспечивать лучшую защиту тем, кто своевременно подал сигнал; проводить выборочную случайную проверку первичных данных по журналам и т. д. Люди часто говорят обо всех этих методах, но редко кто прибегает к их использованию, а все потому что ответственность за нарушения определена неясно и туманно.
