Методы проверки гипотез
В чем секрет успешности крупных компаний? Их секрет в том, что они не боялись экспериментировать, ошибаться, и снова тестировать. Результатом тестирования гипотез стали успешные и рабочие модели.
Существует множество причин, по которым новый продукт может не взлететь. Самая популярная — он будет попросту не нужен рынку. Такие выводы сделали в исследовательской компании CB Insights, проанализировав 101 провальный стартап.
Много было случаев, когда влюбленные в свою идею основатели тратили месяцы и сотни тысяч долларов на разработку продукта, который в результате оказывался никому не нужен.
Чтобы не тратить сотни тысяч долларов впустую, некоторые команды стали проверять востребованность будущего продукта прежде, чем приступать к написанию кода. Такой подход известен как Riskiest Assumption Test (RAT). Он предполагает проверку наиболее рискованных гипотез и сбор обратной связи от пользователей до непосредственной реализации продукта.
В этой статье мы рассмотрим различные методы проверки гипотез, подходы к их реализации и приведем живые примеры из практики.
Вспомним, что такое гипотеза?
Гипотеза в проектной работе – предположение, допущение, выдвинутое автором проекта перед началом выполнения работы, которое должно быть доказано или опровергнуто в ходе исследования темы проекта и его написания, является отправной точкой исследования, требует как теоретическое обоснование, так и проверку на практике.
Инструменты проверки продуктовых гипотез
1) A/B тестирование или сплит–тест
В таком тестировании главное — четко определить выборку, точнее ее размер. Это важно, чтобы результаты получились максимально реалистичными и статистически значимыми. Многие продуктовые менеджеры рекомендуют проводить сплит–тестирование при наличии как минимум десяти тысяч активной месячной аудитории. Если столько пока нет, лучше использовать другие инструменты.
2) Количественный опрос пользователей
Их создание и проведение облегчают специальные сервисы. Например, Survey Monkey. На бесплатном тарифе можно создавать анкеты до 10 вопросов. Статистику ответов можно тут же просматривать в реальном времени, что особенно удобно на совещании. Ссылку на анкету можно разместить на сайте или в соцсетях. Такие сервисы позволяют выбрать нужную аудиторию и задавать ей вопросы.
3) Качественные исследования или customer development
Это прямой разговор с потребителями или с определенной группой потенциальных потребителей продукта. Такие интервью можно разделить на две группы:
- Usability — поможет понять смогут ли пользователи в принципе использовать ваш продукт и решать с его помощью свои задачи, достигать цели.
- Discovery — детально вникает в состояние, проблемы, восприятие пользователей определенной группы. В таких интервью задают вопросы: Кто? Как? Зачем? Где?
Сколько таких интервью нужно, чтобы протестировать гипотезу? Начинают обычно с пяти. И продолжают до тех пор, пока люди не перестанут давать новые ответы. То есть, как только информация начнет повторяться, можно прекращать.
Для гипотез, которые тестируют небольшие изменения в продукте, может хватить 5-7 интервью.
Для запуска абсолютно нового продукта — 50-100 интервью.
4) Прототипирование
Создание упрощенной версии продукта с основными функциями для сбора обратной связи от реальных пользователей.
- Пример: Google Glass начинался как прототип, который позволил команде понять, как пользователи взаимодействуют с устройством и какие функции наиболее востребованы.
5) MVP (минимально жизнеспособный продукт)
Запуск продукта с минимальным набором функций, необходимых для удовлетворения основных потребностей пользователей, чтобы проверить ключевые гипотезы о продукте.
- Пример: Dropbox использовал видео-демонстрацию как MVP для проверки интереса к продукту, что позволило собрать значительное количество предварительных подписок.
6) Использование аналитики данных
Анализ данных о поведении пользователей на сайте или в приложении для проверки гипотез о том, как функции продукта влияют на вовлеченность и удовлетворенность.
- Пример: Amazon анализирует данные о покупательском поведении для оптимизации рекомендаций продуктов и улучшения пользовательского опыта.
Тестирование гипотез продукта методом HADI
HADI — это цикл из четырех блоков:
- Hypothesis — формирование гипотезы по принципу «если, то…»
- Action — проверка гипотезы продукта, то есть проводим работы для запуска эксперимента.
- Data — собираем данные и получаем измеряемый результат.
- Insights — делаем выводы: была ли гипотеза успешна, что и как можно было бы улучшить. А на их основе формулируем дальнейшие гипотезы и снова проходим цикл: проверка — измеряемый результат — выводы и новые гипотезы.
Советую изучить статью "20 способов продавать с первого дня. Как быстро и дешево проверять идеи и не просить инвестиций".
Кейс по тестированию гипотез в Google
Обязательно соизмеряйте результат, который может дать гипотеза, с ресурсами, которые вы на это тратите.
В какой–то момент Google слишком сильно увлеклись тестированием гипотез, они начали полагаться на данные даже в мелочах. Игнорируя при этом мнение специалистов компании.
Например, в 2009-м они тестировали 41 оттенок голубого цвета, чтобы узнать, какой будет эффективнее и лучше для всей платформы. В гипотезе они использовали один оттенок голубого на главной странице поисковика, а другой оттенок — на странице почты Gmail.
Из-за этого из компании даже ушел ведущий дизайнер Дуглас Боумэн. Он тогда открыто сказал:
«Да, это правда, что команда в Google не могла выбрать между двумя блюзами, поэтому они тестируют 41 оттенок между каждым синим, чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли граница быть 3, 4 или 5 пикселей в ширину, и меня попросили доказать это. Я не могу работать в такой среде. Я устал обсуждать такие миниатюрные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые нужно решать».
Кейс: Беспроводная зарядка Plum
Создатели девайса для беспроводной зарядки PLUM проверяли интерес покупателей с помощью продающего лендинга, собранного на конструкторе Tilda, и трафика из Facebook Ads.
Полученные в ходе эксперимента метрики (CTR, CR, Cost Per Lead) соответствовали ожиданиям команды и подтвердили жизнеспособность Unit - экономики.
Следующим этапом команда Plum планирует запустить краудфандинг-кампанию на Kickstarter и в случае успеха приступить к непосредственному производству продукта. Это отличный способ без риска проверить спрос. Если он не подтвердится, деньги, полученные на предзаказах, можно вернуть покупателям.
Подходы к проверке гипотез
- Итеративный подход: Постоянное тестирование и адаптация на основе полученных данных. Это позволяет быстро реагировать на обратную связь и корректировать направление разработки продукта.
- Пользовательско-центричный подход: Фокусировка на потребностях и проблемах реальных пользователей в процессе проверки гипотез. Это помогает создавать продукты, которые действительно решают проблемы пользователей.
- Lean startup: Минимизация затрат и ресурсов на проверку гипотез путем использования MVP, экспериментов и быстрой итерации.
Заключение
Создавать новые продукты – длительный и дорогостоящий процесс. Начинать разработку без наличия подтверждения спроса и ценности – неэффективно. Продолжать разработку с доказательством, что продукт не востребован или не создает добавочной ценности – нет смысла.
С развитием все большего количества no-code решений, позволяющих автоматизировать процессы, делать прототипы, а иногда и полноценные продукты с простой логикой, проверка наиболее рискованных гипотез становится все более простой и быстрой задачей. Главное быть готовым действовать и менять планы в соответствии с новой информацией.
Спасибо за внимание ❤❤
Проблема не в том, КАК тестировать, а КАКИЕ гипотезы. Как формировать качественные гипотезы и есть основаная сложность, а этот метод нигде не описан. Как результат, тестируют дофига, но все фуфло. Движухи полно, результата нет
В целом поддерживаю, много процессов, а крутых кейсов единицы и о них мало говорят в открытом поле..
@Konstantin Drozdov (PM) на заметку: PM - это Project Manager, PdM - Product Manager
Спасибо за ваше мнение!) Пусть это останется как есть.