от формирования и проверки гипотез), были значительно ниже среднего уровня по точности диагнозов. Похоже, что четкая формулировка гипотез направляет более эффективный и результативный поиск информации.
Моделирование экспертных оценок
Еще один важный вопрос касается степени, в которой аналитики обладают точным пониманием своих собственных ментальных процессов. Насколько хорошо они понимают, как они на самом деле оценивают доказательства при вынесении суждений? Для каждой ситуации, подлежащей анализу, у них есть неявная "ментальная модель", состоящая из убеждений и предположений относительно того, какие переменные наиболее важны и как они связаны друг с другом. Если аналитики хорошо понимают свою собственную ментальную модель, они должны быть в состоянии определить и описать переменные, которые они считали наиболее важными при вынесении суждений.
Однако существуют убедительные экспериментальные доказательства того, что такое самосозерцание обычно ошибочно. Эксперт воспринимает свой собственный процесс суждения, включая количество различных видов информации, принимаемой во внимание, как значительно более сложный, чем это есть на самом деле. Эксперты переоценивают важность факторов, которые оказывают лишь незначительное влияние на их суждения, и недооценивают степень, в которой их решения основаны на нескольких основных переменных. Короче говоря, ментальные модели людей проще, чем они думают, и аналитик, как правило, не знает не только о том, какие переменные должны оказывать наибольшее влияние, но и о том, какие переменные на самом деле оказывают наибольшее влияние.
Все это было продемонстрировано в ходе экспериментов, в которых аналитиков просили сделать количественные оценки относительно большого числа случаев в их области знаний, причем каждый случай определялся рядом количественных факторов. Например, в одном из экспериментов аналитиков фондового рынка попросили предсказать долгосрочный рост цен на 50 ценных бумаг, причем каждая ценная бумага описывалась в таких терминах, как соотношение цены и прибыли, тенденция роста прибыли и дивидендная доходность. После выполнения этого задания аналитиков попросили объяснить, как они пришли к своим выводам, включая то, какой вес они придали каждой из переменных. Их просили быть достаточно откровенными, чтобы другой человек, изучающий ту же информацию, мог применить те же правила суждения и прийти к тем же выводам.
Чтобы сравнить эту словесную рационализацию с суждениями, отраженными в фактических решениях аналитиков фондового рынка, можно использовать множественный регрессионный анализ или другие подобные статистические процедуры для разработки математической модели того, как каждый аналитик фактически взвешивал и комбинировал информацию о соответствующих переменных. Было проведено по меньшей мере восемь исследований такого рода в различных областях, включая одно с участием прогнозирования будущего социально-экономического роста слаборазвитых стран. Математическая модель, основанная на фактических решениях аналитика, неизбежно является более точным описанием принятия решений аналитиком, чем его собственное словесное описание того, как были приняты решения.
Несмотря на то, что существование этого феномена было убедительно продемонстрировано, его причины не вполне понятны. В литературе, посвященной этим экспериментам, можно найти лишь следующее умозрительное объяснение:
Возможно, наше ощущение, что мы можем принимать во внимание множество различных факторов, возникает потому, что, хотя мы помним, что в то или иное время мы обращали внимание на каждый из них, мы не замечаем, что редко когда мы рассматриваем более одного или двух факторов в одно и то же время.
Когда новая информация влияет на наши суждения?
Чтобы оценить актуальность и значимость этих экспериментальных выводов в контексте опыта аналитиков разведки, необходимо выделить четыре типа дополнительной информации, которую может получить аналитик:
Дополнительная информация о переменных, уже включенных в анализ: В эту категорию попадает большая часть необработанных разведывательных данных. Не стоит ожидать, что такая дополнительная информация повлияет на общую точность суждений аналитика, и вполне понятно, что дополнительные детали, согласующиеся с предыдущей информацией, повышают уверенность аналитика. Анализы, в которых имеется значительная глубина деталей, подтверждающих выводы, как правило, более убедительны как для их авторов, так и для читателей.
Выявление дополнительных переменных: Информация о дополнительных переменных позволяет аналитику принять во внимание другие факторы, которые могут повлиять на ситуацию. Именно такая дополнительная информация используется в экспериментах с гандикапперами на скачках.
В других экспериментах использовалась некоторая комбинация дополнительных переменных и дополнительной информации о тех же переменных. Тот факт, что суждения основываются на нескольких критических переменных, а не на всем спектре доказательств, помогает объяснить, почему информация о дополнительных переменных обычно не повышает точность прогнозирования. Иногда, в ситуациях, когда существуют известные пробелы в понимании аналитика, один отчет о каком-то новом и ранее не учитываемом факторе - например, авторитетный отчет о политическом решении или планируемом государственном перевороте - может оказать значительное влияние на суждения аналитика. Такой отчет будет относиться к одной из двух следующих категорий новой информации.
В анализ включается информация о значении, приписываемом переменным al- ready: Примером такой информации может быть гандикаппер на скачках, узнавший, что лошадь, которая, по его мнению, будет весить 110 фунтов, на самом деле будет весить только 106. Современные разведывательные отчеты, как правило, имеют дело с такого рода информацией; например, аналитик может узнать, что диссидентская группа оказалась сильнее, чем предполагалось. Новые факты влияют на точность суждений, когда они касаются изменений в переменных, имеющих решающее значение для оценок. Уверенность аналитиков в суждениях, основанных на такой информации, зависит от их уверенности в точности информации, а также от ее объема.
Информация о том, какие переменные наиболее важны и как они связаны друг с другом: Знания и предположения о том, какие переменные наиболее важны и как они взаимосвязаны, составляют ментальную модель, которая подсказывает аналитику, как анализировать полученные данные. Явное изучение таких взаимосвязей - один из факторов, отличающих систематические исследования от текущей разведывательной отчетности и необработанных разведданных. Например, в контексте эксперимента с гандикапперами на скачках гандикапперы должны были выбрать, какие переменные включить в свой анализ. Является ли вес, переносимый лошадью, более или менее важным, чем несколько других переменных, которые влияют на результаты лошади?
Точность суждений аналитика зависит как от точности нашей мысленной модели (четвертый тип информации, о котором говорилось выше), так и от точности значений, приписываемых ключевым переменным в модели (третий тип информации, о котором говорилось выше). Дополнительная информация о переменных, уже имеющихся в мысленной модели аналитика, и информация о других переменных, которые на самом деле не оказывают существенного влияния на наше суждение (первый и второй типы информации), оказывают незначительное влияние на точность, но составляют основную часть исходного материала, с которым работают аналитики. Эти виды информации повышают уверенность, потому что выводы кажутся подкрепленными большим объемом данных.
Это обсуждение типов новой информации является основой для разграничения двух типов анализа - анализа, основанного на данных, и
