после проведения мозгового штурма для выявления всех значимых факторов или переменных, которые могут повлиять на ситуацию. Все факторы, выявленные в ходе мозгового штурма, заносятся в матрицу, которая затем используется для обсуждения того, как каждый фактор влияет на все остальные факторы, с которыми он связан в контексте конкретной проблемы. Такое групповое обсуждение взаимодействия каждой пары переменных - это познавательный опыт и хорошая основа для дальнейшего анализа и сотрудничества.
Матрица перекрестного воздействия - простая техника с очевидными преимуществами, но, как и любую другую технику, ее полезность можно и нужно проверять. Для этого есть несколько действенных способов:
Проведите интервью или опрос аналитиков после обсуждения перекрестного воздействия, чтобы узнать их мнение о его ценности в качестве учебного опыта.
Перед обсуждением перекрестного воздействия попросите каждого аналитика в отдельности выявить и проанализировать ключевые взаимосвязи между различными факторами. Затем сравните эти индивидуальные усилия с групповыми. Это должно показать преимущества группового процесса.
Разработайте сценарий и проведите эксперимент. Сравните выводы и качество отчета, подготовленного одной командой, которая не знала о концепции матрицы перекрестного воздействия, с отчетом другой команды, которую проинструктировали об использовании этой техники в качестве основы для обсуждения. Является ли анализ, подготовленный командой, которая использовала матрицу перекрестного воздействия, более полным и тщательным, чем анализ другой команды?
ВАЛИДАТОР ИНДИКАТОРОВ™
Indicators Validator™, описанный в главе 6 , - это относительно новая методика, разработанная Рэнди Ферсоном для проверки способности набора индикаторов обеспечивать раннее предупреждение о будущих событиях, например, о том, какой из нескольких потенциальных сценариев, по-видимому, развивается. В ней используется матрица, похожая на матрицу ACH, со сценариями, перечисленными в верхней части, и индикаторами в левой части. Для каждой комбинации индикатора и сценария аналитик оценивает по пятибалльной шкале вероятность того, что этот индикатор будет или не будет наблюдаться при развитии данного сценария. Этот рейтинг определяет диагностическую ценность каждого показателя или его способность диагностировать, какой сценарий становится наиболее вероятным.
Часто оказывается, что индикаторы не имеют практически никакой ценности, поскольку они соответствуют нескольким сценариям. Объяснение этому явлению заключается в том, что , когда аналитики определяют индикаторы, они обычно ищут индикаторы, которые согласуются со сценарием, который они хотят определить. Они не задумываются о том, что ценность индикатора снижается, если он также согласуется с другими гипотезами.
Программа Indicators Validator™ была разработана для удовлетворения ощутимой потребности аналитиков в лучшем понимании требований, предъявляемых к хорошему показателю. Однако в идеале необходимо проверить необходимость этой техники и ее эффективность, прежде чем поощрять всех аналитиков, работающих с индикаторами, к ее использованию. Такое тестирование может быть проведено следующим образом:
Проверьте, насколько необходима новая методика. Выберите выборку разведывательных отчетов, включающих список индикаторов, и примените тест Indicators Validator™ к каждому индикатору из списка. Как часто этот тест выявляет индикаторы, которые были выдвинуты, несмотря на то, что они не имеют диагностической ценности?
Проведите сравнение "до и после". Выявите аналитиков, которые в ходе своей работы разработали набор индикаторов. Затем попросите их применить Indicators Validator™ в своей работе и посмотреть, насколько это изменит ситуацию.
13.4 РЕКОМЕНДУЕМАЯ ПРОГРАММА ИССЛЕДОВАНИЙ
Очевидна необходимость создания организационных подразделений в аналитическом сообществе с широкой ответственностью за исследования в области аналитического ремесла. Однако мы скептически относимся к преимуществам предложений о создании национального института8 или виртуального центра, управляемого консультантами.8 или виртуального центра, управляемого консультантами.9 История исследований, направленных на улучшение разведывательного анализа, говорит о том, что любой из этих вариантов, скорее всего, послужит магнитом для дорогостоящих контрактных предложений и окажет лишь незначительное влияние на то, как средний аналитик выполняет свою работу, если вообще окажет. А для того, чтобы результаты исследований были внедрены, необходимо задействовать талант работающих аналитиков.
Несколько лет назад Нэнси Диксон провела для Разведывательного управления Министерства обороны исследование "проблемы извлеченных уроков" во всем разведывательном сообществе США и конкретно в DIA. Это исследование подтвердило наличие разрыва между так называемыми извлеченными уроками и их реализацией. Диксон обнаружила, что "наиболее часто в разведывательном сообществе выражается озабоченность по поводу трудностей с реализацией уроков". Она объясняет это двумя основными факторами:
Во-первых, те, кто отвечает за разработку и проведение уроков, редко несут ответственность за применение полученных знаний. . . . При самых благоприятных обстоятельствах передать результаты исследований и отчетов в оперативное управление, как известно, очень сложно.
Во-вторых, в большинстве случаев в процессе извлечения уроков не удается изначально определить конкретную целевую аудиторию, которая будет использовать эти уроки. . . В отсутствие заранее определенной, взаимно согласованной целевой аудитории для использования уроков, в рекомендациях обязательно отсутствует контекст, который в противном случае сделал бы их применимыми.10
Если мы хотим, чтобы исследования, рекомендованные в этой главе, были проведены эффективно и оказали значительное влияние на то, как на самом деле проводится анализ, мы считаем, что они должны проводиться линейным компонентом разведывательного сообщества, который отвечает за внедрение их результатов, или в тесном сотрудничестве с ним.
1. Пол Бедард, "Шеф ЦРУ заявляет о прогрессе в реформировании разведки", U.S. News and World Report, 16 мая 2008 г., www.usnews.com/articles/news/2008/05/16/cia-chief-claims-progress-with-intelligence-reforms.html .
2. Одним из лучших примеров исследования, которое действительно отвечает этому стандарту сопоставимости, является книга мастер-сержанта Роберта Д. Фолкера-младшего "Анализ разведданных в объединенных разведывательных центрах на театре военных действий: An Experiment in Applying Structured Methods (Washington, DC: Joint Military Intelligence College, 2000).
3. Филип Тетлок, "Экспертное политическое суждение" (Принстон, Нью-Джерси: Издательство Принстонского университета, 2005), 190-202.
4. Эти суждения были высказаны в публичных заявлениях и в личных сообщениях авторам.
5. Merriam-Webster Online, www.m-w.com/dictionary/analysis .
6. Шарлан Дж. Немет и Брендан Немет-Браун, "Лучше, чем индивидуумы: Потенциальные преимущества несогласия и разнообразия для групповой креативности" в книге "Групповая креативность: Innovation through Collaboration, ed. Paul B. Paulus and Bernard A. Nijstad (New York: Oxford University Press, 2003), 63-64.
7. Эта информация была предоставлена высокопоставленным специалистом разведывательного сообщества в декабре 2006 года и впоследствии неоднократно подтверждалась в проектах, выполненных правительственными аналитиками.
8. Стивен Рибер и Нил Томасон, "Создание Национального института аналитических методов", Studies in Intelligence 49, no. 4 (2005).
9. Грегори Ф. Тревертон и К. Брайан Габбард, Оценка мастерства разведывательного анализа, технический отчет корпорации RAND (Санта-Моника, Калифорния: RAND, 2008).
10. Нэнси Диксон, "Проблема и исправление уроков, извлеченных разведывательными службами США", 1 июля 2009 г., http://www.nancydixonblog.com/2009/07/the-problem-and-the-fix-for-the-us-intelligence-agencies-lessons-learned.html
