Я порекомендовал команде провести простое сплит-тестирование. Она выделила одну группу пользователей, от которой требовалась немедленная регистрация, но при этом пользователи могли только ознакомиться с рекламными материалами. Как ни странно, поведение этой группы было точно таким же, как и поведение той, которой предлагали «ленивую регистрацию»: тот же самый уровень регистрации, активации и последующего удержания. Иначе говоря, дополнительные усилия на поддержку «ленивой регистрации» были пустой тратой времени и сил, несмотря на то, что она считалась передовой практикой.
Этот тест позволил сократить затраты и привел к важному открытию: отношение клиентов к Grockit основано вовсе не на опыте использования продукта.
Представьте себе, что это значит. У группы пользователей, от которых требовали зарегистрироваться, прежде чем приступить к сеансу обучения вместе с другими студентами, почти не было информации о продукте – эти пользователи знали лишь то, что было написано на домашней странице сайта Grockit и на странице регистрации. У группы с «ленивой регистрацией», наоборот, было гораздо больше информации о продукте, потому что эти люди уже им пользовались. Тем не менее, несмотря на то, что разные пользователи были по-разному информированы, поведение в обеих группах было одинаковым.
Это показало, что для эффективного привлечения пользователей нужно заняться в первую очередь не новыми опциями, а позиционированием и маркетингом. Это был только первый из множества важных экспериментов, которые провела Grockit. С того времени компания значительно увеличила свою клиентскую базу: сейчас она предлагает подготовку к многочисленным стандартизированным тестам, а также онлайн-уроки математики и курсы английского для учеников 7–12-х классов.
Grockit продолжает оттачивать свои процессы и непрерывно совершенствуется. В ее офисе в Сан-Франциско работают больше 20 сотрудников, и компания по-прежнему следует продуманному и дисциплинированному подходу, который отличал ее с самого начала. Она уже помогла сдать тесты почти миллиону студентов и уверена, что может помочь миллионам других.
Три аспекта
Примеры из жизни компании Grockit демонстрируют нам три важных аспекта учета инноваций: действенные показатели, простоту изложения и возможность проверки данных.
Действенные показатели
Отчет отражает действенные показатели, если он четко демонстрирует причинно-следственные связи. Если это не так, значит, он основан на «показателях тщеславия». Отчеты, которые стала использовать команда Grockit для оценки этапов обучения, очень ясно показывали, что нужно сделать, чтобы получить требуемые результаты.
«Показатели тщеславия», напротив, не могут указать, какие действия нужно предпринимать. Возьмем количество хитов на сайте компании. Скажем, у нас 40 000 хитов в этом месяце – настоящий рекорд. Что нам нужно сделать, чтобы получить больше хитов? Ну, мы не знаем, это зависит от многих факторов. Откуда появляются новые хиты? Благодаря 40 000 новых клиентов или в результате бешеной активности веб-браузера одного парня? Эти хиты – результат новой маркетинговой кампании или пиар-акций? И что такое хит? Считается ли каждая страница в браузере как один хит или встроенные изображения и мультимедийный контент тоже учитываются? Любому, кто хоть раз присутствовал на встрече, где обсуждались параметры показателя, приведенного в отчете, знакомы подобные проблемы.
«Показатели тщеславия» вредны, потому что апеллируют к слабостям человеческого разума. Когда цифры идут вверх, нам кажется, что это результат наших действий, того, чем мы занимались в то время. Именно поэтому так часто можно наблюдать встречи, где маркетологи думают, что показатели улучшаются благодаря новой пиар-акции или маркетинговой кампании, а разработчики считают, что это результат новых опций, которые они создали. Чтобы выяснить, что происходит на самом деле, нужно потратить очень много денег, и поэтому менеджеры просто следуют плану и делают лучшее, что могут, на основании собственных суждений, собственного опыта и коллективного разума всех, кто присутствует на встрече.
К сожалению, когда показатели снижаются, мы видим совсем другую реакцию: это чья-то ошибка. Поэтому члены команды или отделы компании часто оказываются словно в театре военных действий: их отдел хочет как лучше, а все остальные сопротивляются просто потому, что ничего не понимают. Стоит ли удивляться, что каждый отдел изобретает собственный жаргон, культуру и методы защиты от «придурков», сидящих на другом этаже?
Действенные показатели – эффективное решение этой проблемы. Когда причина и следствие ясны и понятны, это позволяет учиться на результатах своих действий. Люди обладают врожденным талантом к обучению, им просто нужна ясная и объективная оценка.
Простота изложения
Часто бывает так, что сотрудники и менеджеры неверно понимают отчеты, на основании которых они должны принимать решения. К сожалению, менеджеры редко говорят об этом тем, кто собирает данные, и не просят их писать свои отчеты понятным языком. А сотрудники разных отделов нередко тратят свою энергию не на то, чтобы использовать полученные данные как обратную связь, которая могла бы направлять их будущие действия, а на то, чтобы интерпретировать их так, как им удобнее.
Но против этого есть «противоядие». Во-первых, отчеты должны быть как можно более простыми и ясными, понятными для всех. Помните, что за любыми показателями стоят люди. Самый легкий способ написать понятный отчет – использовать определенные, конкретные понятия. Что такое хит на сайте? Этого никто не знает, но все знают, что такое посетитель сайта: можно нарисовать, как эти люди сидят за компьютерами.
Вот почему отчеты, основанные на когортном анализе, так эффективны для обучения организации – они превращают сложные действия в простые примеры, описывающие поведение людей. Каждый раз когортный анализ показывает: среди тех, кто пользовался нашим продуктом в этот период, столько-то людей продемонстрировали тот тип поведения, который для нас важен. В примере с IMVU мы видели четыре типа поведения: загрузка продукта, вход на сайт продукта с личного компьютера, чат с другими клиентами и покупка платной версии продукта. Иначе говоря, отчет связан с людьми и их действиями, что гораздо полезнее, чем массивы абстрактных данных. Например, подумайте о том, как трудно было бы сказать, успешно ли развивается IMVU, если бы в отчете мы сообщали только об общем количестве личных разговоров. Скажем, у нас есть 10 000 посетителей в данный период. Хорошо ли это? Это один очень-очень общительный человек или это 10 000 человек одновременно пытаются воспользоваться продуктом, а потом уходят с сайта? Чтобы узнать это, нужен более подробный отчет.
Когда общие показатели растут, ясность отчетов становится еще более значима. Что означает, если за месяц количество хитов на сайте сократилось с 250 000 до 200 000? Но почти каждый легко поймет, что значит потерять 50 000 клиентов – это целый стадион, полный людей, которые больше не хотят покупать ваш продукт.
Правило доступности также касается доступа к отчетам. Компания Grockit в этом отношении поступала очень правильно. Каждый день автоматически создавался документ, содержавший последние данные по каждому из экспериментов по сплит-тестированию и по другим показателям, связанным с «прыжками веры». Этот документ рассылался по электронной почте всем сотрудникам компании: у каждого всегда была самая свежая копия. Отчеты было легко читать, каждый эксперимент и его результаты описывались простым языком.
Еще один способ сделать отчеты доступными для всех – метод, который мы разработали в IMVU. Мы не стали выводить аналитику или данные в отдельную систему. Данные отчета и его инфраструктура считались частью самого продукта, и за них отвечала команда разработки. Отчеты выкладывались на нашем сайте и были доступны любому, у кого был аккаунт сотрудника.
Любой сотрудник в любой момент мог войти в систему, выбрать из списка текущий или прошлые эксперименты и прочитать одностраничный отчет о его результатах. Со временем эти одностраничные отчеты стали средством улаживания споров о продукте во всей организации. Когда людям нужны были доказательства в пользу какой-то гипотезы, они брали с собой на встречу распечатки такого отчета и были уверены, что все остальные их поймут.
Возможность проверки данных
Когда нам говорят, что наш любимый проект оказался неудачным, обычно нам хочется возложить вину на «гонца»: на данные, на руководителя, на богов или на бог весть что еще. Именно поэтому так важен третий аспект – «контролируемость». Нужно убедиться в том, что сотрудники доверяют приводимым данным.
Сотрудникам IMVU, как правило, удавалось улаживать споры, ссылаясь на отчеты об экспериментах, о которых я только что говорил. Но порой возникали сложности. Бывало и так, что, столкнувшись не с теми результатами, которых они ожидали, руководитель, или разработчик, или вся команда проекта начинали ставить под сомнение достоверность данных.
