оставались анонимными, чтобы на них не оказывали излишнего влияния ответы старших членов. Этот метод проиллюстрирован на Рисунок 9.7 .
Примеры
Чтобы показать, как Delphi можно использовать для анализа разведданных, мы разработали три иллюстративных приложения:
Оценка вариантов политики другой страны: Руководитель или модератор проекта Delphi определяет несколько вариантов политики, которые может выбрать другая страна. Затем он просит группу экспертов из этой страны оценить желательность и осуществимость каждого варианта, с точки зрения другой страны, по пятибалльной шкале от "Очень желательно" или "Осуществимо" до "Очень нежелательно" или "Определенно неосуществимо". Членов группы также просят определить и оценить любые другие варианты политики, которые следовало бы рассмотреть, и назвать два-три основных аргумента или доказательства, которыми они руководствовались в своих суждениях. Сводка всех ответов направляется обратно в группу с просьбой к членам группы сделать одно из следующих действий: пересмотреть свою позицию с учетом ответов других, предоставить дополнительные разъяснения своих суждений или подтвердить свой предыдущий ответ. Во втором раунде опроса желательно перечислить ключевые аргументы и доказательства и попросить членов группы оценить их обоснованность и важность, опять же с точки зрения другой страны.
Анализ альтернативных гипотез: Группу внешних экспертов просят оценить вероятность каждой гипотезы в наборе взаимоисключающих гипотез, где вероятности должны составлять 100 %. Это может быть сделано как отдельный проект или для перепроверки уже завершенного анализа конкурирующих гипотез (ACH) ( глава 7 ). Если два анализа, проведенные разными аналитиками и с использованием разных методов, приходят к одному и тому же выводу, это является основанием для значительного повышения уверенности в выводе. Если результаты анализа расходятся, это также может быть полезно знать, поскольку в этом случае можно попытаться понять, чем обоснованы различные суждения.
Анализ предупреждений или мониторинг ситуации с течением времени: Аналитик просит группу экспертов оценить вероятность будущего события. Это может быть либо отдельное событие, для которого аналитик отслеживает индикаторы раннего предупреждения, либо набор сценариев, для которых аналитик отслеживает вехи, чтобы определить направление, в котором, как кажется, движутся события. Существует два способа управления проектом Delphi, в котором отслеживаются изменения с течением времени. Один из них заключается в том, чтобы через определенные промежутки времени проводить новый раунд вопросов и ответов, чтобы оценить степень изменений. Другой способ - это так называемый динамический Дельфи или Дельфи в реальном времени, когда участники могут изменять свои ответы в любое время по мере возникновения новых событий или поступления новой информации от одного из участников.18 Оценки вероятности, предоставленные группой Дельфи, можно агрегировать, чтобы получить показатель значимости изменений с течением времени. Их также можно использовать для выявления расхождений во мнениях экспертов, которые требуют дальнейшего изучения.
Потенциальные ловушки
Проект Delphi предполагает административную работу по поиску экспертов, общению с членами группы, сбору и табулированию их ответов в ходе нескольких раундов опроса. Разведывательное сообщество может создать дополнительные препятствия, например, обеспечить наличие у экспертов соответствующих допусков или потребовать, чтобы они встречались с аналитиками в закрытых офисных помещениях. Еще один потенциальный подводный камень заключается в том, что чрезмерное увлечение этой техникой может привести к консенсусу, в то время как лучше было бы представить две конкурирующие гипотезы и доказательства, подтверждающие каждую позицию.
Взаимосвязь с другими техниками
Delphi легко сочетается с другими методами, такими как виртуальный мозговой штурм, и методами расстановки приоритетов, ранжирования или масштабирования списков информации.
Истоки этой техники
Происхождение Delphi как аналитического метода было описано выше в разделе "Когда его использовать". Следующие ссылки были полезны при изучении этой темы: Murray Turoff and Starr Roxanne Hiltz, "Computer-Based Delphi Processes," 1996, http://web.njit.edu/~turoff/Papers/delphi3.html ; и Harold A. Linstone and Murray Turoff, The Delphi Method: Techniques and Applications (Reading, MA: Addison-Wesley, 1975). Цифровая версия книги Линстоуна и Туроффа 2002 года доступна в Интернете по адресу http://is.njit.edu/pubs/delphibook ; в частности, см. главу Туроффа "Дельфийская политика" ( http://is.njit.edu/pubs/delphibook/ch3b1.pdf ). Более актуальную информацию о валидности и оптимальных методах реализации проекта Delphi можно найти в книге Gene Rowe and George Wright, "Expert Opinions in Forecasting: The Role of the Delphi Technique," in Principles of Forecasting, ed. J. Scott Armstrong (New York: Springer Science+Business Media, 2001).
1. Роб Джонстон, "Аналитическая культура в разведывательном сообществе США" (Вашингтон, округ Колумбия: Центр ЦРУ по изучению разведки, 2005), 64.
2. Пол Бедард, "Шеф ЦРУ заявляет о прогрессе в реформировании разведки", U.S. News and World Report, 16 мая 2008 г.
3. Дональд П. Стьюри, ред., Шерман Кент и Совет по национальным оценкам: Collected Essays (Washington, DC: CIA Center for the Study of Intelligence, 1994), 133.
4. Рефрейминг похож на технику переформулирования проблемы, которую Морган Джонс описал в своей книге "Набор инструментов мыслителя" (Нью-Йорк: Three Rivers Press, 1995). Джонс заметил, что "как только мы определяем проблему, наше мышление о ней быстро сужается". Мы создаем рамки, через которые рассматриваем проблему, и это, как правило, заслоняет другие ее интерпретации. Группа может изменить эту систему координат и бросить вызов собственному мышлению, просто переопределив проблему.
5. Гэри Клейн, Источники власти: как люди принимают решения (Cambridge, MA: MIT Press, 1998), 71.
6. Гэри Кляйн, Интуиция на работе: Why Developing Your Gut Instinct Will Make You Better at What You Do (New York: Doubleday, 2002), 91.
7. Шарлан Дж. Немет и Брендан Немет-Браун, "Лучше, чем индивидуумы? Потенциальные преимущества несогласия и разнообразия для групповой креативности" в книге "Групповая креативность: Innovation through Collaboration, ed. Paul B. Paulus and Bernard A. Nijstad (New York: Oxford University Press, 2003), 63.
8. Леон Панетта, "Правительство: Чума некомпетентности", Monterey County Herald, 11 марта 2007 г., F1.
9. Грегори Ф. Тревертон, "Риски и загадки", Smithsonian Magazine, 1 июня 2007 г.
10. Информацию об этих трех моделях принятия решений см. в Graham T. Allison and Philip Zelikov, Essence of Decision, 2nd ed. (New York: Longman, 1999).
11. О фундаментальных различиях в мышлении людей в разных культурах см. в книге Richard Nisbett, The Geography of Thought: How Asians and Westerners Think Differently and Why (New York: Free Press, 2003).
12. Ричардс Дж. Хойер-младший, Психология разведывательного анализа (Вашингтон, округ Колумбия: Центр ЦРУ
