со многими компаниями, настраивая и внедряя аналитические платформы, которые затем использовались для оптимизации продуктов и бизнеса. Попутно я разработал простой, тиражируемый процесс использования аналитики для осуществления улучшений. Я назвал его процессом анализа бережливого продукта (см. Рисунок 14.1).
Первым шагом в процессе анализа бережливого продукта является определение ключевых метрик для вашего бизнеса, о которых я рассказал в предыдущей главе. Далее вам нужно провести измерение этих показателей, чтобы зафиксировать для каждой метрики ее базовое значение, которое показывает, где вы находитесь сегодня. Этот шаг может показаться относительно простым, но многие компании на нем спотыкаются. Настройка отслеживания – или измерения – показателей продукта требует выполнения определенной работы. После первоначальной настройки обычно требуются дополнительные усилия для обеспечения точности и сопоставления значений отслеживаемых показателей. Аналитические приложения, такие как Google Analytics, KISSmetrics, Mixpanel и Flurry, позволяют упростить эту задачу. Данные, необходимые для расчета ключевых метрик, часто хранятся в базе данных продукта, поэтому многие компании используют комбинацию из приложений сторонних разработчиков и собственного аналитического ПО. Цель всех этих действий состоит в том, чтобы создать набор аналитических панелей, позволяющих видеть, как с течением времени изменяются значения каждой из отслеживаемых метрик.
Рисунок 14.1. Процесс анализа бережливого продукта
Как только у вас появятся точные базовые значения для каждой из ключевых метрик, можно будет перейти к следующему шагу: оценке потенциала роста каждого отслеживаемого показателя. На этом этапе вы оцениваете каждый показатель через призму рентабельности инвестиций (ROI). Я считаю полезным представлять диапазон значений каждого показателя в виде шкалы со стрелкой, подобной той, что вы можете наблюдать на приборной панели автомобиля или на манометре. Цифры, на которые в данный момент указывает стрелка, являются базовым значением для наблюдаемой метрики. Теперь вам нужно оценить, насколько легко или сложно будет сдвинуть стрелку вправо, то есть улучшить каждый показатель. Для этой цели используется кривая рентабельности инвестиций, и на этом шаге мы хотим получить хотя бы примерное представление о том, в каком месте на этой кривой находится исследуемый показатель в настоящий момент времени.
На Рисунке 14.2 показаны кривые рентабельности инвестиций для трех различных метрик. По вертикальной оси каждого графика отложены значения самой метрики (где чем выше, тем лучше). Зная особенности своего бизнеса и существующие взаимосвязи между его ключевыми показателями, вы имеете представление о том, в какой степени увеличение значения каждой метрики приводит к улучшению показателя более высокого уровня, который вы, в конечном счете, пытаетесь повысить за счет вложения соответствующих ресурсов (например, это может быть показатель объема выручки). Горизонтальная ось показывает объем инвестиций (ресурсов), направляемых на улучшение отслеживаемого показателя. Кружком обозначено текущее базовое значение метрики, то есть в каком месте на кривой рентабельности инвестиций каждый показатель находится в данный момент.
Рисунок 14.2. Кривые рентабельности инвестиций для трех различных метрик
Текущее значение метрики A находится в нижней части кривой рентабельности инвестиций, где подъем линии является достаточно крутым. Это означает, что вы можете значительно улучшить значение данного показателя, совершив относительно небольшие вложения. Такая ситуация обычно возникает в том случае, когда вы еще не работали над улучшением метрики. В свою очередь, показатель B находится вблизи вершины своей кривой рентабельности инвестиций, там, где наклон линии в значительной степени выровнен. Таким образом, даже при значительных инвестициях, вы сможете улучшить данный показатель лишь в небольшой степени. Такая ситуация характерна для случаев, когда на улучшение метрики уже потрачено много ресурсов.
Кривая рентабельности в том виде, как она показана для метрик A и B, является типичной для большинства показателей. Однако в некоторых обстоятельствах даже небольшие затраты ресурсов на улучшение показателя могут привести к его значительному росту. Я называю такие ситуации эффектом «волшебной пилюли». В таких случаях кривая рентабельности инвестиций будет выглядеть иначе – примерно так, как показано на Рисунке 14.2 для метрики C. Это особые случаи, при которых небольшое, но влиятельное изменение может привести к тому, что какой-то аспект продукта или бизнеса станет работать гораздо лучше, чем это было до вашего вмешательства. Обычно такие возможности обнаруживаются в результате тщательного анализа.
Как только вы оценили потенциал роста каждого показателя, можно переходить к следующему этапу процесса: выбору показателя, который предлагает наиболее многообещающие возможности для улучшения. Это и будет та самая «Наиболее значимая метрика» (НЗМ), которая обсуждалась в предыдущей главе. Если вспомнить Рисунок 14.1, то можно сказать, что вы сейчас осуществляете переход от глобального рассмотрения полного набора метрик к сосредоточению всех усилий только на главной из них.
Далее, в ходе проведения «мозгового штурма» вам необходимо сгенерировать как можно больше идей по улучшению своей наиболее значимой метрики. Затем предстоит оценить, насколько реализация каждой из сгенерированных идей способна улучшить эту НЗМ. В процессе вы формируете гипотезы, такие как «Оптимизация мобильной версии страницы регистрации повысит коэффициент конверсии с 20 до 30 %». Кроме этого, вам необходимо оценить стоимость реализации каждой идеи, чтобы рассчитать значение рентабельности инвестиций – ROI (как обсуждалось в главе 6). Проделав эту работу, вы сможете выбрать для реализации идею с наилучшей оценкой рентабельности инвестиций.
Далее вы разрабатываете и внедряете выбранную идею улучшения главной метрики. Наилучшим вариантом было бы использовать при этом платформу A/B-тестирования, чтобы опробовать улучшение на небольшой части пользователей. Это позволяет получить сравнимые значения метрики для оценки относительной эффективности сделанного улучшения в сравнении с базовым показателем. Если у вас нет платформы для проведения A/B-тестирования, и при этом метрика, которую вы пытаетесь улучшить, имеет относительно стабильное значение, вы можете после реализации идеи улучшения провести простое сравнение показателей «до» и «после». Однако я настаиваю, что применение A/B-тестирования является более предпочтительным вариантом, поскольку оно снижает риск влияния неизвестных факторов, приводящих к возникновению разницы в полученных результатах.
Конечно, на протяжении всего процесса вы надеетесь улучшить целевой показатель. Однако, даже если этого в итоге не происходит, вы все равно добьетесь прогресса, поскольку получите ценный опыт, который сможете применить для создания более совершенных гипотез на последующих итерациях. Теперь вы пересматриваете свой список идей по улучшению метрики и выбираете следующую лучшую идею (занявшую изначально второе место при оценке рентабельности инвестиций). Затем вы повторяете весь цикл, показанный в правой части Рисунка 14.1.
В конце концов, после опробования нескольких идей вы должны, наконец, увидеть действительное улучшение целевого показателя. В ходе таких повторений цикла рентабельность проверяемых идей будет постепенно снижаться. Это может привести к тому, что в какой-то момент обнаружится, что лучшие возможности для улучшения
