class="p1">Значение показателя NPS может варьироваться в диапазоне от -100 до 100. По своему смыслу NPS является показателем отношения потребителей к продукту и косвенным показателем его соответствия рынку. Пользователи будут рекомендовать только тот продукт, которым они очень довольны. Среднее значение NPS, полученное по результатам одного раунда опроса имеет определенный смысл, но основную ценность представляет отслеживание динамики NPS продукта с течением времени по результатам периодически повторяемых опросов. По мере того как вы вносите в свой продукт улучшения, повышая тем самым степень его соответствия рынку, показатель NPS должен увеличиваться. Конечно, при возникновении проблем данный показатель может снижаться. Как измеритель общего настроения клиентов, он может свидетельствовать о наличии проблем в широком спектре областей, выходящих за рамки непосредственно продукта, включая качество обслуживания или технической поддержки. По этой причине важно включить в состав опроса открытый вопрос о том, почему респондент выставляет ту или иную оценку. Кроме этого, бывает полезным сравнение показателя NPS своего продукта с аналогичной метрикой конкурентов и ее эталонным значением для соответствующей продуктовой категории.
Вопрос Шона Эллиса о соответствии продукта рынку
Шон Эллис – талантливый маркетолог и практик бережливого стартапа – человек, который придумал термин «хакер роста» и управляет сайтом сообщества http://growthhackers.com. Эллис также является генеральным директором компании Qualaroo, занимающейся анализом потребностей клиентов http://qualaroo.com. Многие компании обязаны ему активным ростом числа своих клиентов.
Эллис, как и я, считает, что не следует вкладывать средства в развитие бизнеса до тех пор, пока выпускаемый продукт не добьется соответствия рынку. Для оценки степени соответствия он предлагает использовать опросы, в ходе которых вы должны спросить пользователей продукта: «Как бы вы себя чувствовали, если бы больше не могли пользоваться [продуктом X]?» Респондентам предлагается четыре возможных варианта ответа:
• Весьма разочарован.
• Немного разочарован.
• Не разочарован (без него вполне можно обойтись).
• Нет ответа – Я больше не пользуюсь [продуктом X].
Проведя такой опрос в отношении множества продуктов, Эллис эмпирическим путем обнаружил, что продукты, утратой которых будут «весьма разочарованы» 40 или более процентов пользователей, как правило, соответствуют требованиям рынка. Это пороговое значение может немного варьироваться в зависимости от категории продукта, но является достаточно точным для формулировки эмпирического правила. Чтобы собрать объективные данные Эллис рекомендует отправлять данный опрос случайной выборке клиентов, которые пользовались вашим продуктом по крайней мере дважды, в том числе, в последнее время. Вопрос должен сопровождаться открытой просьбой: «Пожалуйста, помогите нам понять, почему вы выбрали именно такой вариант ответа», – как я рекомендовал выше для NPS.
Аналитика и A/B-тестирование
Верхний правый квадрант на Рисунке 13.1 соответствует исследованию, имеющему количественный и поведенческий характер. Именно здесь применяются аналитика и A/B-тестирование. Аналитика позволяет получить измеримую оценку реального поведения клиентов, поэтому в этом случае вам не приходится беспокоиться о каком-либо несоответствии между словами и реальными действиями клиентов. Кроме того, в отличие от качественных исследований поведения пользователей, аналитика агрегирует поведение большого числа клиентов, тем самым позволяя делать статистически значимые выводы.
Для примера, допустим, что у вас есть целевая страница. Анализ показывает, что коэффициент конверсии составляет всего 5 %, что намного ниже ожидаемых вами значений. По этой причине вы разрабатываете новую, улучшенную версию целевой страницы. Вы проводите юзабилити-тесты и просите пользователей дать обратную связь в отношении новой страницы. Отзывы оказываются в целом положительными; 9 из 10 пользователей указали, что они бы нажали кнопку «Зарегистрироваться». Вы решаете запустить страницу. До того как вы это сделаете, вы на самом деле не можете реально оценить влияние ее нового дизайна. Реальный коэффициент конверсии вряд ли составит 90 %. Это значение искусственно завышено из-за особенностей модерируемого юзабилити-тестирования. Да, можно ожидать, что коэффициент конверсии повысится, но, насколько серьезным будет это повышение, невозможно определить, основываясь только на результатах юзабилити-теста.
A/B-тестирование позволяет отправить одну часть пользовательского трафика на новую версию целевой страницы, а другую – на старую версию, отслеживая при этом результаты каждого из вариантов. Таким образом, вы сможете узнать, насколько велика разница в значениях коэффициента конверсии. Если объем пользовательского трафика достаточно велик, степень достоверности такого количественного сравнения будет приемлемо высокой.
Аналитика имеет огромное практическое значение для любой команды разработчиков, поскольку позволяет понять, как клиенты используют разработанный ей продукт. При этом аналитика не может дать вам полной картины. Для того чтобы лучше узнать своих клиентов, необходимо также проводить качественные исследования. Но без аналитики вы будете действовать вслепую. Перефразируя Питера Друкера[25], вы не можете управлять тем, что не измеряете. A/B-тестирование основывается на аналитике и дает возможность с достаточной степенью точности оценить влияние вносимых изменений. Это способствует созданию платформы для экспериментов и обеспечивает бережливые команды мощным инструментом для быстрого внедрения инноваций.
Стоит отметить, что полная версия фреймворка Рорера включает в себя еще и третье измерение для определения «контекста использования». Дополнительная шкала предусматривает наличие разных контекстов использования продукта в зависимости от метода исследования: «естественное использование» (например, для аналитики), «использование по сценарию» (например, для юзабилити-тестов) и «без использования продукта» (например, для поисковых интервью). Я рекомендую вам ознакомиться с полной версией этого фреймворка, которая классифицирует 20 различных методов UX-исследования. Вы можете найти ее на веб-сайте Nielsen Norman Group по ссылке: http://nngroup.com/articles/which-uxresearch-methods. Вы можете также ознакомиться с другими публикациями в блоге Рорера по ссылке: http://xdstrategy.com.
Теперь, когда мы выяснили, как сочетаются аналитика и A/B-тестирование, давайте обсудим некоторые схемы применения этих мощных инструментов.
Аналитические фреймворки
Для любого бизнеса существует множество метрик, отслеживая которые можно понять, как он работает. С учетом наличия такого большого количества различных показателей, которые вы могли бы попытаться улучшить, очень полезно иметь целостную аналитическую систему, охватывающую все аспекты вашего бизнеса. Наличие такой системы позволяет обеспечить четкое представление о том, как различные показатели влияют друг на друга, и может помочь в определении того, на чем вам следует сосредоточиться.
Аналитика в Intuit
Во время своей работы в компании Intuit после запуска очередного веб-продукта я задался целью отслеживать его метрики с целью дальнейшего улучшения как самого продукта, так и связанных с ним бизнес-аспектов. Для этого я создал аналитическую систему, которая охватывала четыре основных элемента нашего бизнеса:
1. Привлечение: Сколько потенциальных клиентов (новых посетителей) привлекают на наш веб-сайт реализуемые маркетинговые программы?
2. Конверсия: Какой процент посетителей нашего сайта регистрируются в качестве клиентов?
3. Удержание: Какой процент наших клиентов остаются активными в течение продолжительного времени?
4. Доход: Сколько денег приносят наши клиенты?
После выхода продукта на рынок у него появились подписчики, которые приносили нам доход.
