Red Teaming Activities (Washington, DC: Office of the Under Secretary of Defense for Acquisition, Technology, and Logistics, September 2003); Michael K. Keehan, "Red Teaming for Law Enforcement," Police Chief 74, no. 2 (February 2007); и учебные материалы Министерства национальной безопасности.
МЕТОД ДЕЛЬФИ
Delphi - это метод получения идей, суждений или прогнозов от группы экспертов, которые могут быть географически разбросаны. Он отличается от опроса тем, что опрос проводится в два или более раунда. После первого раунда вопросов модератор раздает все ответы и пояснения к ответам всем участникам, часто анонимно. Затем участникам-экспертам предоставляется возможность изменить или уточнить свои предыдущие ответы, если они того пожелают, на основе того, что они увидели в ответах других участников. Второй раунд вопросов основывается на результатах первого раунда, углубляется в детали или переходит к смежной теме. Характер и количество вопросов, которые можно задать, могут быть очень гибкими.
Когда использовать
Метод Дельфи был разработан корпорацией RAND в начале холодной войны в 1950-х годах для прогнозирования влияния новых технологий на ведение боевых действий. Он также использовался для оценки вероятности, интенсивности или частоты будущих атак противника. В 1960-х и 1970-х годах Дельфи стал широко известен и использовался как метод исследования будущего, особенно для прогнозирования долгосрочных тенденций в науке и технике. Фьючерсные исследования схожи с разведывательным анализом в том, что неопределенность и сложность, с которыми приходится иметь дело, часто не позволяют использовать традиционные статистические методы, поэтому объяснения и прогнозы должны основываться на опыте и обоснованных суждениях экспертов.
На протяжении многих лет Delphi использовались в самых разных целях. Хотя многие проекты Delphi были направлены на выработку консенсуса экспертных оценок, вариант под названием Policy Delphi основан на предпосылке, что лицо, принимающее решение, заинтересовано не в том, чтобы группа приняла консенсусное решение, а в том, чтобы эксперты определили альтернативные варианты политики и представили все подтверждающие доказательства за и против каждого варианта. Именно этим объясняется включение метода Дельфи в данную главу, посвященную анализу проблем. Он может быть использован для выявления расхождений во мнениях, которые, возможно, стоит изучить.
Одна группа исследователей Delphi советует использовать технику Delphi "практически для решения любых задач, связанных с прогнозированием, оценкой или принятием решений" - при условии, что проблема не настолько сложна или нова, чтобы исключить использование экспертной оценки. Сторонники метода Дельфи сообщают, что используют его для самых разных целей, начиная от "выбора вариантов регионального развития, прогнозирования результатов выборов , решения, каких кандидатов следует нанимать на академические должности, и заканчивая прогнозированием количества блюд, которые следует заказать для обеда на конференции".17
Для решения этих задач было разработано несколько программ, одна из которых размещена в открытом доступе ( http://armstrong.wharton.upenn.edu/delphi2 ). Распределенные системы поддержки принятия решений, которые сейчас находятся в открытом доступе для поддержки виртуальных команд, включают в себя некоторые или все функции, необходимые для Delphi, как часть более крупного пакета аналитических инструментов.
Добавленная стоимость
Консультации с соответствующими экспертами из академических кругов, бизнеса и неправительственных организаций поощряются Директивой разведывательного сообщества № 205 "О работе с аналитиками" от июля 2008 года. Мы считаем, что создание дельфийских групп экспертов по критически важным вопросам должно быть стандартной процедурой для работы с экспертами за пределами аналитического подразделения любой организации, и особенно в разведывательном сообществе, поскольку его рабочая среда более замкнута.
Как эффективный процесс получения информации от внешних экспертов, Delphi обладает рядом преимуществ:
Сторонние эксперты могут участвовать в работе из своего дома, что позволяет сократить временные и командировочные расходы, обычно связанные с привлечением внешних консультантов.
Delphi может дать аналитические суждения по любой теме, по которой имеются внешние эксперты. Это означает, что его можно использовать в качестве независимой перекрестной проверки выводов, сделанных собственными силами. Если в двух анализах, проведенных разными аналитиками и с использованием разных методов, получен один и тот же вывод, это дает основания для значительного повышения доверия к этому выводу. Если же выводы расходятся, это тоже ценная информация, которая может открыть новое направление исследований.
Дельфи выявляет тех, кто придерживается необычной позиции. Признавая, что большинство не всегда право, исследователи могут сосредоточиться на том, чтобы лучше понять основания для любых мнений, которые значительно расходятся с консенсусом. Собственно, выявление экспертов, имеющих альтернативную точку зрения и способных ее отстаивать, может стать целью проекта Delphi.
Процесс, в ходе которого члены экспертной комиссии получают отзывы от других экспертов и имеют возможность изменить свои ответы, позволяет экспертам легко корректировать свои предыдущие суждения в ответ на новые доказательства.
Во многих проектах Delphi эксперты остаются анонимными для других членов группы, чтобы никто не мог использовать свое авторитетное положение, репутацию или личность для влияния на других. Анонимность также способствует выражению мнений, которые идут вразрез с общепринятым мнением и не могут быть высказаны иным способом.
Анонимность метода Дельфи существенно снижает вероятность группового мышления. Кроме того, они затрудняют навязывание остальным участникам группы своего мнения, основанного на их прошлом опыте и мировоззрении. Требование, чтобы группа экспертов участвовала в нескольких раундах обмена информацией, также помогает снизить вероятность сатисфакции. Метод Дельфи также может помочь защитить аналитиков от нескольких аналитических ловушек, в том числе следующих:
Придавать слишком большое значение первому впечатлению или первым данным, особенно если они привлекают наше внимание и кажутся важными в тот момент.
Продолжайте придерживаться аналитического суждения, столкнувшись с растущим списком доказательств, противоречащих первоначальному выводу.
Метод
В проекте Delphi модератор (аналитик) рассылает вопросник группе экспертов, которые могут находиться в разных местах. Эксперты отвечают на вопросы и обычно просят дать краткие пояснения к своим ответам. Модератор обобщает результаты первой анкеты и рассылает обобщенные ответы всем членам группы, предлагая им пересмотреть свои ответы с учетом того, что они увидели и узнали из ответов и объяснений других экспертов. Членам группы также может быть предложено ответить на еще один набор вопросов. Этот цикл вопросов, ответов и обратной связи продолжается в течение нескольких раундов с использованием одного и того же или смежного набора вопросов. Часто желательно, чтобы члены группы
