имеет прямое отношение к оценке их работы. Игроки в бридж, внутренние аудиторы и геологи-нефтяники также выдают точные прогнозы, во многом благодаря надежной обратной связи и стимулам для дальнейшего развития.
Самый надежный способ отслеживать прогнозы и оценивать их точность – показатель Бриера. Он позволяет компаниям производить прямые, статистически достоверные сравнения прогнозистов по серии прогнозов. С течением времени количество набранных баллов выявляет лучших, будь то команды, их отдельные представители или специалисты, работающие индивидуально (см. врезку «Показатель Бриера выявит ваших лучших (и худших) прогнозистов»).
Однако для повышения точности прогнозов недостаточно просто подсчитать, сколько очков набрала команда, – необходимо также оценить процедуру, которой она пользовалась. Чтобы извлечь пользу из полученных результатов – и хороших, и плохих, – важно выяснить, как они были достигнуты. Одна проверка, например, покажет, что к прогнозу, как точному, так и ошибочному, привели определенные этапы процедуры. Другая установит, что прогноз оказался верен, несмотря на ошибочное обоснование (просто повезло), – или что причиной ошибки стали какие-то особые обстоятельства, а не плохо проведенный анализ. Например, ритейлер может очень точно спрогнозировать, сколько покупателей посетит магазин в тот или иной день, но если произойдет событие из разряда «черных лебедей» – скажем, угроза взрыва, – то магазин закроется, а прогноз окажется неверным. Показатель Бриера будет низким, но анализ процедуры покажет, что дело не в ней: причина ошибки будет определена как неудачное стечение обстоятельств.
Показатель Бриера выявит ваших лучших (и худших) прогнозистов
КРАЙНЕ ВАЖНО, ЧТОБЫ ПРОГНОЗИСТЫ давали точные оценки вероятности. Например: вероятность того, что компания в первом квартале продаст от 9000 до 11 000 единиц нового продукта, составит 80 %. Тогда прогнозы можно анализировать и сравнивать между собой при помощи особого инструмента – показателя Бриера, который позволяет оценить работу прогнозистов и ранжировать их в соответствии с умениями и навыками.
Показатель Бриера рассчитывается как квадрат разницы между вероятностью прогноза и фактическим результатом, который оценивается как 1, если событие произошло, и 0, если нет. Например, если прогнозист делает заключение, что компания перевыполнит план продаж с вероятностью 0,9 (т. е. он уверен в этом на 90 %), и прогноз сбывается, то показатель Бриера в этом случае вычисляется так:
(0,9–1)2 = 0,01.
Если же прогноз окажется ошибочным, то его показатель будет таким:
(0,9–0)2 = 0,81.
Чем ближе к нулю показатель Бриера, тем меньше погрешностей в прогнозе, тем он точнее.
Показатель Бриера наглядно показывает, кто хорош в прогнозировании, а кто нет. Он позволяет напрямую сравнивать прогнозистов, что поощряет вдумчивый анализ и разоблачает как «выстрелы наугад», так и тенденциозность.
В оценке процедуры прогнозирования есть еще одна важная составляющая – необходимо проанализировать взаимодействия в группе. Ни достоверные данные, ни неукоснительное следование всем правилам составления прогнозов не помогут, если не отлажена работа самой команды. Вспомните переговоры между NASA и его подрядчиком, инженерной компанией Morton Thiokol, накануне запуска космического челнока «Челленджер» в 1986 году, окончившегося катастрофой. Первоначально инженеры Thiokol были против запуска, опасаясь, что низкие температуры могут испортить уплотнительные кольца, которые герметизировали стыки ракетных двигателей. По их прогнозам, риск повреждения из-за воздействия низкой температуры был намного выше обычного. Однако в итоге они, к сожалению, изменили свою позицию.
Анализ инженеров был верным, а вот организация процедуры оказалась слабой. На слушаниях в конгрессе была восстановлена картина событий того дня, показавшая, какие условия – в сочетании – заставили специалистов изменить прогноз: нехватка времени, требования руководства, недостаточно вдумчивое изучение альтернативных точек зрения, попытки подавить голоса несогласных и ощущение своей непогрешимости (в конце концов, 24 предыдущих полета прошли хорошо).
Во избежание подобных катастроф – и для повторения успехов – руководители компаний должны систематически и своевременно собирать отчеты о том, как их ведущие команды выносят суждения, вести учет сделанных предположений, использованных данных, проведенных консультаций с экспертами, внешних событий и так далее. Для анализа процедур можно использовать видеозаписи или стенограммы совещаний; кроме того, если попросить специалистов по прогнозированию фиксировать ход своей работы, это тоже может дать важную информацию. Помните, ранее мы приводили в пример компанию Susquehanna International Group, где трейдеров обучают играть в покер? Перед каждой транзакцией трейдеры должны аргументировать вступление в сделку или выход из нее. От них требуется рассмотреть ключевые вопросы: какой дополнительной информацией, способной повлиять на ход торговли, по-вашему, могут располагать другие трейдеры? Какие когнитивные ловушки могут исказить ваше восприятие этой сделки? Почему вы считаете, что эта сделка выгодна фирме? Кроме того, в Susquehanna специально подчеркивают важность процедуры: размер бонусов трейдеров привязан не только к результатам отдельных сделок, но и к качеству анализа, лежащего в основе этих сделок.
Грамотная проверка способна установить постфактум, что же пошло не так: или у прогнозистов, положившихся на ошибочные данные, неудачно сработал «эффект якоря», или они плохо сформулировали задачу, или упустили из виду важную информацию, не привлекли к работе членов команды, придерживающихся иных взглядов, а то и вовсе отказались их слушать. Проверка также способна высветить те этапы процедуры, которые привели к точным прогнозам, и тем самым передать другим группам положительный опыт для дальнейшего совершенствования.
____________________________________
Каждый из описанных нами методов – обучение, формирование команды, наблюдение за работой прогнозистов и выявление лучших среди них – имеет важное значение для качества прогнозирования. Все они должны быть адаптированы для различных организаций: на сегодня ни одна компания, насколько нам известно, еще не освоила их полностью и не в состоянии создать комплексную программу. Те компании, которым это удастся, получат значительное преимущество, особенно если их корпоративная культура, подобно культуре разведсообщества, поощряет организационные инновации и эксперименты.
Однако воспользоваться этим преимуществом компании смогут только в том случае, если руководители поддержат усилия по повышению точности прогнозов, продемонстрируют готовность работать методом проб и ошибок и признают, не боясь уронить свой авторитет: да, «мы чего-то не знаем, думая, что знаем».
Впервые опубликовано в выпуске за май 2016 года.
Управление политическими рисками в ХХI веке
Кондолиза Райс, Эми Зегарт
В 2010 ГОДУ ГАБРИЭЛА КАУПЕРТВЭЙТ, РЕЖИССЕР из Лос-Анджелеса, прочитала в новостях статью, которая изменила ее жизнь. В ней рассказывалось, как во время шоу в водном парке развлечений SeaWorld в Орландо косатка убила дрессировщицу. Каупертвэйт, которой очень нравилось ходить вместе с сыновьями на подобные шоу в парке SeaWorld, расположенном в Сан-Диего, посвятила следующие два года съемкам документального фильма «Черный плавник» – о том, как опасно (и для самих животных, и для их дрессировщиков) содержать косаток в тематических парках. Съемки фильма обошлись всего в $76 000. Однако он тут же прогремел на весь мир,
