Методы проверки гипотез
В чем секрет успешности крупных компаний? Их секрет в том, что они не боялись экспериментировать, ошибаться, и снова тестировать. Результатом тестирования гипотез стали успешные и рабочие модели.
Существует множество причин, по которым новый продукт может не взлететь. Самая популярная — он будет попросту не нужен рынку. Такие выводы сделали в исследовательской компании CB Insights, проанализировав 101 провальный стартап.
Много было случаев, когда влюбленные в свою идею основатели тратили месяцы и сотни тысяч долларов на разработку продукта, который в результате оказывался никому не нужен.
Чтобы не тратить сотни тысяч долларов впустую, некоторые команды стали проверять востребованность будущего продукта прежде, чем приступать к написанию кода. Такой подход известен как Riskiest Assumption Test (RAT). Он предполагает проверку наиболее рискованных гипотез и сбор обратной связи от пользователей до непосредственной реализации продукта.
В этой статье мы рассмотрим различные методы проверки гипотез, подходы к их реализации и приведем живые примеры из практики.
Вспомним, что такое гипотеза?
Гипотеза в проектной работе – предположение, допущение, выдвинутое автором проекта перед началом выполнения работы, которое должно быть доказано или опровергнуто в ходе исследования темы проекта и его написания, является отправной точкой исследования, требует как теоретическое обоснование, так и проверку на практике.
Инструменты проверки продуктовых гипотез
1) A/B тестирование или сплит–тест
В таком тестировании главное — четко определить выборку, точнее ее размер. Это важно, чтобы результаты получились максимально реалистичными и статистически значимыми. Мн��гие продуктовые менеджеры рекомендуют проводить сплит–тестирование при наличии как минимум десяти тысяч активной месячной аудитории. Если столько пока нет, лучше использовать другие инструменты.
2) Количественный опрос пользователей
Их создание и проведение облегчают специальные сервисы. Например, Survey Monkey. На бесплатном тарифе можно создавать анкеты до 10 вопросов. Статистику ответов можно тут же просматривать в реальном времени, что особенно удобно на совещании. Ссылку на анкету можно разместить на сайте или в соцсетях. Такие сервисы позволяют выбрать нужную аудиторию и задавать ей вопросы.
3) Качественные исследования или customer development
Это прямой разговор с потребителями или с определенной группой потенциальных потребителей продукта. Такие интервью можно разделить на две группы:
- Usability — поможет понять смогут ли пользователи в принципе использовать ваш продукт и решать с его помощью свои задачи, достигать цели.
- Discovery — детально вникает в состояние, проблемы, восприятие пользователей определенной группы. В таких интервью задают вопросы: Кто? Как? Зачем? Где?
Сколько таких интервью нужно, чтобы протестировать гипотезу? Начинают обычно с пяти. И продолжают до тех пор, пока люди не перестанут давать новые ответы. То есть, как только информация начнет повторяться, можно прекращать.
Для гипотез, которые тестируют небольшие изменения в продукте, может хватить 5-7 интервью.
Для запуска абсолютно нового продукта — 50-100 интервью.
4) Прототипирование
Создание упрощенной версии продукта с основными функциями для сбора обратной связи от реальных пользователей.
- Пример: Google Glass начинался как прототип, который позволил команде понять, как пользователи взаимодействуют с устройством и какие функции наиболее востребованы.
5) MVP (минимально жизнеспособный продукт)
Запуск продукта с минимальным набором функций, необходимых для удовлетворения основных потребностей пользователей, чтобы проверить ключевые гипотезы о продукте.
- Пример: Dropbox использовал видео-демонстрацию как MVP для проверки интереса к продукту, что позволило собрать значительное количество предварительных подписок.
6) Использование аналитики данных
Анализ данных о поведении пользователей на сайте или в приложении для проверки гипотез о том, как функции продукта влияют на вовлеченность и удовлетворенность.
- Пример: Amazon анализирует данные о покупательском поведении для оптимизации рекомендаций продуктов и улучшения пользовательского опыта.
Тестирование гипотез продукта методом HADI
HADI — это цикл из четырех блоков:
- Hypothesis — формирование гипотезы по принципу «если, то…»
- Action — проверка гипотезы продукта, то есть проводим работы для запуска эксперимента.
- Data — собираем данные и получаем измеряемый результат.
- Insights — делаем выводы: была ли гипотеза успешна, что и как можно было бы улучшить. А на их основе формулируем дальнейшие гипотезы и снова проходим цикл: проверка — измеряемый результат — выводы и новые гипотезы.
Советую изучить статью "20 способов продавать с первого дня. Как быстро и дешево проверять идеи и не просить инвестиций".
Кейс по тестированию гипотез в Google
Обязательно соизмеряйте результат, который может дать гипотеза, с ресурсами, которые вы на это тратите.
В какой–то момент Google слишком сильно увлеклись тестированием гипотез, они начали полагаться на данные даже в мелочах. Игнорируя при этом мнение специалистов компании.
Например, в 2009-м они тестировали 41 оттенок голубого цвета, чтобы узнать, какой будет эффективнее и лучше для всей платформы. В гипотезе они использовали один оттенок голубого на главной странице поисковика, а другой оттенок — на странице почты Gmail.
Из-за этого из компании даже ушел ведущий дизайнер Дуглас Боумэн. Он тогда открыто сказал:
«Да, это правда, что команда в Google не могла выбрать между двумя блюзами, поэтому они тестируют 41 оттенок между каждым синим, чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли граница быть 3, 4 или 5 пикселей в ширину, и меня попросили доказать это. Я не могу работать в такой среде. Я устал обсуждать такие миниатюрные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые нужно решать».
Кейс: Беспроводная зарядка Plum
Создатели девайса для беспроводной зарядки PLUM проверяли интерес покупателей с помощью продающего лендинга, собранного на конструкторе Tilda, и трафика из Facebook Ads.
Полученные в ходе эксперимента метрики (CTR, CR, Cost Per Lead) соответствовали ожиданиям команды и подтвердили жизнеспособность Unit - экономики.
Следующим этапом команда Plum планирует запустить краудфандинг-кампанию на Kickstarter и в случае успеха приступить к непосредственному производству продукта. Это отличный способ без риска проверить спрос. Если он не подтвердится, деньги, полученные на предзаказах, можно вернуть покупателям.
Подходы к проверке гипотез
- Итеративный подход: Постоянное тестирование и адаптация на основе полученных данных. Это позволяет быстро реагировать на обратную связь и корректировать направление разработки продукта.
- Пользовательско-центричный подход: Фокусировка на потребностях и проблемах реальных пользователей в процессе проверки гипотез. Это помогает создавать продукты, которые действительно решают проблемы пользователей.
- Lean startup: Минимизация затрат и ресурсов на проверку гипотез путем использования MVP, экспериментов и быстрой итерации.
Заключение
Создавать новые продукты – длительный и дорогостоящий процесс. Начинать разработку без наличия подтверждения спроса и ценности – неэффективно. Продолжать разработку с доказательством, что продукт не востребован или не создает добавочной ценности – нет смысла.
С развитием все большего количества no-code решений, позволяющих автоматизировать процессы, делать прототипы, а иногда и полноценные продукты с простой логикой, проверка наиболее рискованных гипотез становится все более простой и быстрой задачей. Главное быть готовым действовать и менять планы в соответствии с новой информацией.
Спасибо за внимание ❤❤