так и для научных журналов существуют свои стандарты качества. Эти стандарты подразумевают то, насколько журнал вообще котируется в научном мире. Так называемые «Вестники» различных университетов, например, весьма неплохи в качестве первой ступени для студентов университета, в некоторых случаях «Вестники» университетов публикуют весьма интересные исследования. Однако на мировой арене такие исследования могут быть не замечены.
Существуют специальные базы данных, в которые включают научные журналы, которым можно доверять. К таким журналам применяют ряд требований: рецензирование, проверка данных, а для того, чтобы издание было включено в какую-то из баз данных, необходимо утверждение специальным консультативным комитетом. Самыми известными базами библиографических и реферативных данных являются Scopus и Web of Science (WoS). Считается, что журналы, которые входят в данные базы данных, являются наиболее авторитетными. Таких журналов по разным профилям науки может насчитываться не одна сотня и даже не тысяча. Представляете, сколько тогда журналов, которые никуда не входят? Кроме того, в таких базах данных отмечены патенты. В России также существуют собственные базы данных, в которые входят данные о научных публикациях на русском языке. В первую очередь это Российский индекс научного цитирования (РИНЦ), а также система eLibrary.
Рис. 14. Самая вершина пирамиды доказательств
Кроме того, в последнее время начали появляться ещё одни показатели «научности» журнала. Это так называемые квартили, обозначаемые буквой Q. Квартиль – это четверть. Соответственно, все журналы в какой-либо базе данных ранжируются по убыванию цитируемости, а затем разделяются на 4 части. В Q1 входят самые высокорейтинговые и высокоцитируемые журналы, тогда как в Q4 – наименее цитируемые и рейтинговые.
Наукометрические показатели в последнее время всё же часто критикуют, так как само по себе цитирование может мало что значить. Самый известный показатель цитируемости, индекс Хирша, критиковался вообще самим автором оригинальной статьи, в которой и было предложено использовать этот показатель. Показатель цитируемости вообще ничего не говорит о том, насколько высокую значимость имеет работа для науки. Многих учёных, к сожалению, оценивают исключительно по данному показателю.
Например, в области биологии и медицины у множества учёных довольно высокие индексы цитируемости. При этом у физиков и математиков традиционно эти показатели более низкие. Это связано со спецификой проведения исследований, а отчасти, возможно, и с модой на биомедицинские исследования: просто сейчас стало своего рода модным быть учёным-биологом или медиком. В свою очередь, эпоха интенсивных исследований в области физики была в начале ХХ века, но сейчас физики публикуют гораздо меньше статей. Значит ли это, что одни учёные хуже как специалисты, чем другие? Вовсе нет. Однако во многих университетах в мире наукометрические показатели стали абсолютными показателями успешности учёных, являясь ими лишь отчасти. В погоне за цифрами учёные могут публиковать кучу мелких статей, а то и вовсе не особо значимых. При увеличении же количества статей может значительно страдать качество.
При выборе «критериев включения» в систематический обзор исследователи, безусловно, отмечают, в каких базах данных был проведён поиск. Возможно, указываются даже языки, на которых проводился поиск. Это действительно очень важная информация, которая позволит определить, насколько можно доверять журналам, а уже затем лезть в саму суть. Несмотря на неидеальность всех наукометрических показателей, иного способа отсеять огромное количество информации на данный момент не представляется возможным. Как правило, при этом поиск ведётся не в одной базе данных, а в нескольких.
Сейчас всё чаще первичный поиск ведётся автоматически при помощи программных алгоритмов. Затем же исследователи объективно оценивают каждое отобранное исследование. Обычно это делается при помощи методов Cochrane или PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses, Предпочтительные параметры отчётности для систематических обзоров и метаанализов)[76].
В систематическом обзоре должен быть использован объективный и прозрачный подход к обобщению исследований с целью минимизации систематической ошибки. При этом если посмотреть на некоторые систематические обзоры, то можно заметить, что очень часто их результаты могут звучать даже проще в каком-то смысле, чем результаты, полученные в исследованиях, которые в этот систематический обзор вошли. Такое упрощение помогает не только медицинским специалистам, но и делает обзоры относительно простым чтением для неспециалистов. На многих ресурсах есть специальные страницы и даже целые разделы, созданные для пациентов. Информация там ещё больше упрощена, но в тексте также встречаются ссылки на отдельные исследования. На официальном сайте Cochrane всё тоже выглядит весьма «прилично»: как правило, небольшое резюме, какое-то количество цифр, общее заключение. Но читатель всегда может ознакомиться как с отдельными исследованиями, так и с целым систематическим обзором.
При этом Cochrane осуществляет совершенно разные анализы исследований. Учёные могут оценить, например, точность диагностического теста. То есть в целом тест показал свою эффективность, но точность его не совсем ясна. Безусловно, оцениваются и вмешательства. В этих случаях сообщество анализирует преимущество и риски каких-то вмешательств, используемых в медицине. Есть вообще совершенно суперневероятная вещь – обзоры систематических обзоров. Это эдакое чудовище Франкенштейна, которое состоит из отдельных систематических обзоров, в каждый из которых входит определённое количество исследований. В общем-то, это один из новых типов исследований, которые позволяет объединять схожие систематические обзоры в единое целое, чтобы не перегружать людей.
Я тут уже какое-то количество страниц пою дифирамбы таким обзорам, но это вовсе не значит, что у них нет недостатков. Во-первых, не все обзоры одинаково надёжны. В 2007 году в журнале PLoS Medicine была опубликована статья[77], согласно которой среди 300 проанализированных авторами систематических обзоров:
• в 122 не были указаны источники финансирования;
• 197 сообщали информацию об оценке качества публикаций;
• 161 сообщили о статистическом объединении результатов, при этом 147 из этих 161 оценивали соответствие во всех исследованиях;
• 53 являлись обновлениями более ранних
