Традиционный и кумулятивный мета-анализ 33 исследований внутривенного введения стрептокиназы против острого инфаркта миокарда. Коэффициент неравенства и 95 %-й доверительный интервал по влиянию лечения на смертность показаны на логарифмической шкале.
Я надеюсь, эти истории объясняют, почему систематические обзоры и мета-анализы так важны: нам нужно свести вместе всю информацию по вопросу, а не просто выбрать те фрагменты, на которые мы наткнулись или которые нам просто интуитивно понравились. Медицина начала признавать этот факт лишь через 20 лет, и систематические обзоры с мета-анализами теперь используются почти повсеместно, чтобы обеспечить наличие наиболее точных сводных данных по всем исследованиям, которые были проведены для изучения конкретной медицинской проблемы.
Все эти истории показывают, почему так опасно не предоставлять результаты других исследований. Если какой-то исследователь или врач при анализе существующих фактов выбирают нужные данные и смотрят только на те исследования, которые свидетельствуют в пользу их догадки, то у читателя научной работы может создаться ложное впечатление. Использование тенденциозного подхода при научных изысканиях — личная проблема такого исследователя, но она также касается всякого, кто оказался недостаточно мудрым или удачливым, чтобы позволить ввести себя в заблуждение. Но если у всех нас, у всего медицинского и научного сообщества по всему миру, отсутствуют результаты негативных исследований, то когда мы сведем все факты вместе, чтобы получить наилучшее возможное представление о действии какого-либо лекарства — как и следует делать, — мы составим искаженную картину, совершенно несоответствующую действительности. У нас создастся ложное впечатление об эффективности лекарства, достоинства препарата будут необоснованно преувеличены, в результате чего мы, вероятно, сделаем неправильный вывод, что лекарство принесет пользу больному, в то время как на самом деле оно только навредит.
Теперь, когда я рассказал вам о важности систематических обзоров, вы понимаете, почему недостающие данные так важны. Вам также ясно, для чего во время освещения вопроса, касающегося недостатка данных исследований, я даю точный обзор научный статей: ведь я буду интерпретировать факты при помощи систематических обзоров.
Сколько данных не хватает?
Если вы хотите доказать, что результаты проведенных клинических исследований остались неопубликованными, вы столкнетесь с интересной проблемой: вам придется доказать существование исследования, к которому у вас нет доступа. Чтобы обойти это препятствие, был выработан следующий подход: вы обозначаете группу исследований, которые, как вы знаете, были проведены и завершены, а затем проверяете, были ли их результаты опубликованы. Найти список проведенных клинических исследований — задача нелегкая, и для ее выполнения исследователи прибегают к различным стратегиям. Они, например, просматривают список исследований, согласованных к проведению комитетами по этике (или Наблюдательным советом института в США), или отслеживают исследования, обсуждаемые на конференциях.
В 2008 году группа исследователей решила проверить, сколько результатов было опубликовано после проведения исследований антидепрессантов, попавших на рынок в период между 1987 и 2004 гг.12, о которых когда-либо заявлялось в Управление по контролю за качеством пищевых продуктов и лекарственных веществ. Это было нелегким делом. В архивах вышеозначенного правительственного ведомства Америки содержится много информации по всем исследованиям, результаты которых были предоставлены в госорган для получения лицензии на новое лекарство. Но даже в архивах такого ведомства нет полного списка исследований, так как информация о тех, что были проведены уже после выпуска лекарства на рынок, так никогда и не дошла до государственных органов. К тому же большой объем информации, хранящейся в архивах ведомства, затрудняет поиск, а самих данных порой бывает очень мало. Однако в наличие уже есть важная выборка исследований, и этого более чем достаточно для нас, чтобы начать выяснять, как часто пропадают без вести результаты исследований и почему это происходит. Эти данные также можно считать репрезентативным срезом исследований всех крупных производителей лекарств.
Исследователи нашли в общей сложности 74 эксперимента, заслуживающих внимания, где принимали участие 12500 пациентов. 38 из этих исследований дали положительные результаты, которые подтверждали эффективность препарата, а результат 36 был отрицательным. В итоге данные по негативным и положительным эффектам распределились поровну. Затем исследователи занялись поиском информации об этих клинических экспериментах в научной литературе, опубликованных материалах, открытых для врачей и пациентов. Картина получилась совсем другой. По 37 исследованиям, принесшим положительные результаты, то есть по всем, кроме одного, результаты были опубликованы полностью, часто с хвалебными отзывами. Однако у исследований, показавших отрицательные данные, была другая судьба: было опубликовано только три из них. 22 эксперимента были просто потеряны в анналах истории и не появлялись больше нигде, кроме как в тех пыльных, неряшливо организованных папках, собранных в архиве Управления по контролю за качеством пищевых продуктов и лекарственных веществ. Информация об остальных 11 исследованиях, принесших негативные результаты и хранившихся в сводках ведомства, тоже появилась в научных изданиях, но статьи были написаны так, как будто исследования лекарства закончились успешно. Если вы посчитаете, что все изложенное звучит абсурдно, я соглашусь с вами. В главе 4 «Обман в исследованиях» мы увидим, как результаты исследований могут быть переработаны и «приглажены» так, чтобы можно было исказить их и преувеличить успех.
Это была великолепная работа, в ходе которой было изучено 12 препаратов всех крупных производителей лекарств без выделения какого-либо одного «плохого парня». Они ясно показали расшатанность и хаотичность системы: в действительности было 38 исследований с положительными результатами и 36 с отрицательными, в то время как в научной литературе было найдено 48 статей об успешных исследованиях и 3 о неудавшихся. Потрудитесь остановиться и сравнить эти два соотношения: 38 положительных против 36 отрицательных и 48 положительных против 3 отрицательных.
Если бы речь шла об одном-единственном исследовании, проводившемся одной группой ученых, решивших утаить половину данных, так как они не вписывались в общую картину, которую они хотели получить, тогда вполне уместно было бы назвать произошедшее нарушением правил проведения исследований, должностным преступлением. Однако если подобное творится руками сотен и тысяч ученых по всему миру, в результате чего исчезают целые исследования, финансируемые как государством, так и частными компаниями, это воспринимается как нормальное явление.13 Все это безнаказанно совершается под носом у бдительных государственных ведомств и профессиональных органов надзора, которые годами не предпринимают ничего, несмотря на явный вред, который приносит пациентам утаивание информации.
Еще одно даже более странное наблюдение: о проблеме сокрытия отрицательных данных исследований было известно уже тогда, когда наукой начали заниматься серьезно.
Данный феномен был впервые формально задокументирован психологом Теодором Стерлингом в 1959 году.14 Он просмотрел каждую работу, опубликованную в четырех крупных журналах по психологии того времени, и обнаружил, что результаты 286 из 294 исследований были статистически значимыми. Такие данные, заявил он, неубедительны. Они не могут говорить о беспристрастии всех проведенных исследований, так как, если мы поверим таким результатам, нам придется поверить и в то, что почти каждая теория, проверяемая психологами экспериментальным путем, оказалась верной. Если бы психологи на самом деле умели так блестяще предсказывать результаты проверки своих гипотез, то не было бы почти никакого смысла в проведении каких бы то ни было экспериментов. В 1995 году в конце своей карьеры любопытный психолог снова вернулся к изучению того же вопроса и обнаружил, что почти ничего не изменилось.15
Стерлинг был первым, кто изложил свои подозрения официально и по-научному, однако эта горькая правда научному миру была известна уже на протяжении многих столетий. Френсис Бэкон писал в 1620 году, что мы часто вводим в заблуждение сами себя, когда вспоминаем моменты, когда что-то работало, и забываем случаи, когда оно не работало.16 Фаулер в 1786 году составил список болезней, которые он лечил мышьяком, и подчеркнул, что он мог бы умолчать о своих неудачах, как наверняка захотели бы сделать другие ученые, но несмотря на соблазн включил также в отчет и нелицеприятные данные.17 Он объяснил, что сделать по-другому означало бы ввести в заблуждение читателя.
