продукта и простоты использования, которые запрашивал от каждого участника по окончании тестирования. Каждому виду как положительных, так и отрицательных отзывов отведена специальная строка. Я помечаю, кто из пользователей оставил соответствующий отзыв, символом «Y» вместо «Да». Это позволяет легко распознать имеющиеся закономерности. В правой колонке приведены сводные результаты с учетом мнений всех пяти пользователей (проценты и медианные оценки). Для простоты я не включил в таблицу те отзывы, повторяемость которых составила менее 40 %.
Таблица 9.1 Отслеживание ключевых результатов пользовательских тестов
Из таблицы вы можете видеть, что на данном этапе тестирования мы получили от пользователей положительные отзывы о функции X, профессиональном дизайне и изображении на домашней странице. Кроме этого, были выявлены четыре проблемы:
• 80 % пользователей пожаловались на отсутствие функции Y;
• 60 % пользователей не нашли ссылку «Зарегистрироваться»;
• У 60 % пользователей возникли трудности с регистрацией;
• 40 % пользователей не поняли наш слоган.
После того как полученная обратная связь будет учтена при улучшении продукта, мы проведем второй раунд пользовательского тестирования, по результатам которого ожидаем и надеемся увидеть прогресс в повышении степени соответствия продукта рынку по всем трем отслеживаемым направлениям. Во-первых, это должно выражаться в увеличении числа положительных отзывов, полученных от большего процента пользователей, особенно в отношении тех аспектов, которые связаны с нашим ценностным предложением. Во-вторых, те негативные отзывы, которые мы получили в ходе первого раунда тестирования, не должны будут появиться вновь. Вы должны понимать, что те пользователи, которые примут участие во втором раунде, не видели более раннюю версию продукта. Поэтому никто из них не скажет вам: «Вы отлично поработали над устранением проблемы [_____]». Таким образом, прогресс, достигнутый в этом направлении, должен отразиться в отсутствии тех же жалоб, которые вы получили в ходе предыдущего раунда тестирования. Третий показатель прогресса – медианные значения пользовательских оценок, относящихся к дополнительным показателям. Мы хотим увидеть, что после улучшения продукта, оценки его ценности и простоты использования (как и любые другие ключевые показатели) стали более высокими.
Юзабилити и соответствие продукта рынку
При проведении тестирования на пользователях крайне важно учитывать различие между обратной связью в отношении удобства использования и в отношении соответствия продукта рынку. Отзывы о юзабилити характеризуют продукт с точки зрения его простоты и удобства для пользователей, в то время как отзывы о соответствии продукта рынку связаны с тем, насколько ценным они находят продукт. Вы наверняка заметили, что в нижней части Таблицы 9.1 я привел оценки участников тестирования, относящиеся именно к этим двум аспектам.
На ранних этапах разработки MVP вы можете получать от пользователей множество критических замечаний, касающихся UX-дизайна. Недостаточно качественное юзабилити часто не позволяет пользователям в полной мере оценить ценность вашего продукта. Вы можете также обнаружить наличие ошибок, мешающих полноценному использованию продукта. Камнем преткновения могут стать и непонятные или не доходящие до пользователя месседжи.
По мере устранения этих факторов, вызывающих недовольство пользователей, ценность продукта может стать для них более явной, и тогда вы сможете получить более точное представление о степени соответствия продукта рынку. После внесения множества улучшений вы можете дойти до той стадии, когда пользователи будут с легкостью проходить все тестовые задания, не сталкиваясь с какими-либо проблемами юзабилити. Однако из этого вовсе не следует делать вывод о том, что продукт соответствует рынку. Такую оценку может дать только четкий ответ пользователей на вопрос, насколько ценным они считают ваш продукт.
Я испытал это на собственном опыте, работая над продуктом, который в режиме реального времени предлагал пользователям новости, подобранные в соответствии с их интересами. В ходе первого раунда тестирования MVP продукта пользователи предоставили нам обратную связь, содержащую ответы на множество вопросов, связанных с удобством использования. Мы также выявили несколько программных ошибок и неоднозначных текстовых сообщений. После того как эти недочеты были исправлены, мы провели второй раунд тестирования, в ходе которого выявили уже меньшее количество проблем, которые также были исправлены. На третьем круге пользовательские тесты стали гораздо более успешными. Большинство пользователей проходили их без проблем, что привело меня в восторг от достигнутого прогресса.
По завершении каждого теста я стал спрашивать пользователей, насколько вероятно, что они воспользуются нашим продуктом. Несмотря на то, что тесты прошли успешно, около 20 % опрошенных заявили, что не будут им пользоваться. Этот результат меня удивил, ведь негативных отзывов в ходе тестирования практически не было. Кроме того, большинство участников тестирования проявляли определенный интерес к продукту, позволявшему получать персонализированную подборку новостей, из чего я сделал вывод, что они достаточно точно соответствуют профилю нашей целевой аудитории. Когда я стал прямо спрашивать «отказников» о причинах, по которым они не стали бы использовать наш продукт, выяснилось, что определенный сегмент пользователей предпочитает получать новости вполне определенным способом. Это было замечательное, неожиданное озарение, которое побудило меня начать спрашивать людей, как именно они предпочитают получать новости. Теперь я задавал этот вопрос в ходе предварительного опроса. В итоге мне удалось обнаружить, что существует три совершенно разных способа, которыми люди предпочитают получать новости, и наш подход к разработке продукта в наибольшей степени соответствовал лишь одному из них. Данное открытие помогло нам лучше разобраться в рыночной ситуации. Онлайн-новости – это базовый потребительский продукт с большой аудиторией пользователей, поэтому неудивительно наличие на этом рынке сегментов с различающимися предпочтениями. Посовещавшись, мы пришли к выводу, что попытка создать проект, который охватывал бы все три различных способа получения новостей, граничит с сумасшествием и не сделает счастливой ни одну из категорий пользователей. Поэтому мы просто использовали полученные знания для уточнения описания нашего целевого потребителя.
Как видите, не только проблемы с юзабилити могут помешать вам оценить соответствие продукта рынку. Даже наличие отменных удобств использования продукта не означает, что он полностью соответствует рынку. Кроме этого, приведенный пример показывает, как тестирование с участием пользователей может помочь подтвердить и уточнить ключевые гипотезы (в данном случае, о том, кто является вашим целевым клиентом).
Тестирование на пользователях – это один из мощнейших инструментов, используемых в бережливом производстве. При правильном его использовании вы можете получить очень ценную обратную связь о своих гипотезах, относящихся к нескольким уровням пирамиды соответствия продукта рынку: недостаточно удовлетворенные потребности, ценностное предложение, набор функций MVP и UX. Однако важно отметить, что тестирование с участием пользователей по своей сути основано на предположении, что вы общаетесь с подходящим типом клиентов. Очень важно убедиться, что опрашиваемые пользователи действительно являются представителями вашего целевого рынка. Вы можете отлично поработать над определением своего ценностного предложения и набора функций
