Метрики в продуктах и ошибки при их измерении

Я иногда помогаю компаниям формировать команды, в частности искать продакт-менеджеров. Также я сделал у себя в телеграм-канале рубрику, где помогаю начинающим продакт-менеджерам находить работу. Кстати если вам интересна тема продакт-менеджмента и стартапов, рекомендую подписаться на мой телеграм-канал.

В последнее время набирает популярность data driven продакт-менеджмент. Что это значит? Работодателям недостаточно видеть просто продакт-менеджера, они хотят, чтобы продуктовые решения были подкреплены данными и цифрами.

Казалось бы, что такого, ведь все продакт-менеджеры должны руководствоваться цифрами. Однако на практике это не так.

Тем не менее метрики должны быть. Без них продакт-менеджмент становится слишком субъективным и превращается в шаманство.

Выбирая продуктовые метрики, мы делаем выбор, в который инвестируем время, ресурсы разработки и аналитики, а также завязываем на это все наши дальнейшие продуктовые решения. Поэтому из-за неправильного выбора метрик можно потратить миллионы рублей впустую.

Давайте разберем несколько примеров продуктов, чтобы понять, как правильно для них выбрать продуктовые метрики.

Маркетплейс – площадка с достаточно сложной аналитикой. Более того, для каждой бизнес-модели ведущие метрики могут сильно разниться.

Базовые метрики маркетплейса – число продавцов, предложений, заказов, количество активных покупателей, конверсия в покупку, средняя стоимость заказа, соотношение покупателей и продавцов (Buyer-to-Seller Ratio) и так далее. Обязательно учитывается рост базы в рамках периода (месяц/год).

И для покупателей, и для продавцов считается стоимость привлечения (САС), а также CPA, оплата за действие. Показатели товарооборота выбираются в зависимости от бизнес-модели: например, стандартный товарооборот GMV. Жизненный цикл клиента LTV нужен, чтобы определить его вклад в бизнес за какой-либо промежуток времени.

Цель образовательной платформы – образование. С этой точки зрения к базовым метрикам отнесем количество покупок продукта, число пользователей (включая число вернувшихся), средний чек, доступность сервиса и другие.

Но ошибкой будет оценивать эффективность платформы только по перечисленным метрикам: нужно оценить продукт и с точки зрения эффективности обучения. То есть, помимо количественных метрик (LTV, Lifetime, ARPU, конверсия в следующее обучение), обязательно считаются качественные: CSI (индекс удовлетворенности), NPS (индекс лояльности) и COR (доходимость). Если последняя рассчитывается исключительно математически, то первые две – в непосредственном контакте с пользователями. В последнее время крупнейшие онлайн-школы оценивают не только доходимость, но и гарантируют трудоустройство студентов.

Главной целью видео-платформы является удержание внимания пользователей. Для этого измеряют и управляют метриками покрытия и качества контента. Качество контента можно оценивать с помощью выборочного ручного ассесмента, а также с помощью пользовательских метрик.

50% успеха развлекательных продуктов - алгоритм рекомендаций. Нужно иметь не только много хорошего контента на каждый сегмент и подсегмент пользовательских интересов, но также определять эти сегменты и рекомендовать контент онлайн. Здесь пригодятся метрики, позволяющие оценить качество рекомендаций. Например, переходы по рекомендациям, количество просмотров на сессию.

Работа с подписочными сервисами включает весь спектр метрик – про деньги, про динамику пользователей и ряд специфичных, например в случае музыкального сервиса это количество прослушиваний, качество рекомендаций и т.д. В арсенале продакта должны присутствовать метрики продукта (Retention, LTV), метрики эффективности, особенно конверсии.

Важная часть - это работа с продуктом, построенная на юнит-экономике.

В любом проекте метрики, если грамотно их использовать, служат инструментом осознанного достижения ключевой цели продукта, прямо или косвенно влияя на общий успех проекта. Как подобрать среди всего многообразия метрик те, которые действительно будут иметь смысл?

Здесь я снова вернусь к тому, что уже говорилось выше. Эффект от отслеживания метрик может быть только в том случае, если используются не только простые, базисные (аудитория, выручка, количество сделок), но и специфические метрики. И, конечно, они должны отслеживаться в связке с внешними факторами.

Важность метрик в системах воронок тоже сложно переоценить. Давайте посмотрим, как строится эффективная воронка, и как с ней работать.

Если рассматривать общую модель воронки конверсии, то в рамках каждого «витка» используются разные инструменты и отслеживаются различные метрики. Основные (начиная с верхней части воронки – охватов) – CTR и СРС, затем следуют поведенческие метрики (первичные презентации, коэффициент отклика на отправку лид-форм, писем, для сайтов – глубина просмотров, и прочие). На заключительном этапе к базовым отнесем CPA, CR, то есть конверсию. Но на разных этапах оценка эффективности работы воронки должна оцениваться с помощью продвинутых и специфических метрик.

Воронок может быть несколько – все зависит от пути клиента и его поведения в процессе пользования продуктом, а также от особенностей самого сервиса. Конверсию нужно отслеживать постоянно, и если на каком-то этапе есть просадка – срочно анализировать показатели. Больше того, продакт обязан находить взаимосвязь между отдельными метриками: например, почему при росте трафика и постоянном среднем чеке падает GMV? Вероятно, приходит менее качественный трафик, в результате снижается конверсия.

Что еще важно в работе с воронкой? Оптимизировать «витки» так, чтобы конверсия и метрики на следующем шаге не падали. Вообще для улучшения конверсии (и трафика тоже) идеально использовать графики, диаграммы и другие инструменты, предлагаемые дашбордами.

Дашборд - это крайне удобная информационная панель, позволяющая не просто видеть всю информацию по продукту, но и анализировать ее: отслеживать, как меняются метрики, что именно повлияло ни эти изменения. Дашборды могут быть посвящены только трафику или включать все данные по продукту. Если есть цель оценить качество трафика, влияние маркетинговых каналов в цепочке взаимодействия с потенциальными покупателями, дополнительно потребуется выбрать модель атрибуции (или несколько моделей для крупного проекта).

Если говорить о создании дашборда, то в процессе нужно соблюдать определенные правила:

Соответственно, выбираются все релевантные метрики для конкретного проекта. Базовыми считаются conversion rate, отток, CAC, ценность клиентов, полученный доход, marketing ROI, процент квалифицированных лидов, скорость воронки продаж и вклад в нее из каждого канала, и подобные.

В качестве анализируемых данных для большинства проектов важнейшее место занимает поведение пользователей продукта. Качественный способ его проанализировать – когортный анализ. При когортном анализе аудитория сегментируется, исходя из совершения одного и того же действия в заданный промежуток времени. Именно наличие строго определенного отрезка времени отличает когорту от обычной сегментации.

Что дает когортный анализ?

Изучение когорт оправдано во всех сервисах, привязанных к количеству клиентов. Именно в таких продуктах доходность прямо зависит от оттока пользователей. Например, в моделях SaaS когортный анализ позволяет оптимизировать цикл продаж и повысить прибыль при помощи анализа переходов на платные версии, выбора тарифов, оттока пользователей за определенные периоды и так далее.

Говоря о метриках, мы подразумеваем, что все они объединены какой-то целью. То есть на каждом проекте метрики собираются в единый комплекс, систему. В данном случае – фреймворк, который позволяет структурировать данные, полученные из расчетов, и, по сути, построить эффективную воронку конверсии, помочь увидеть состояние продукта с первого взгляда.

Фреймворков существует немало, но есть наиболее известные и популярные:

Конечно, все, что описано в статье выше, должно определять рост проекта, а все расчеты служат одной цели – понять, является ли финансовая модель жизнеспособной, что работает хорошо, а где требуются безотлагательные трансформации. Вот как понять, что маркетплейс, например, успешен? Какие ошибки не должен допускать продакт-менеджер в работе с этим продуктом?

Как правило, оценку работы сервиса начинают с анализа объема товарооборота, GMV (Gross Merchandise Volume), при этом точный подсчет может оказаться невыполнимой задачей, если договоренности о заказе осуществляются на площадке, а оплата – в оффлайне. То есть измерение объемов товарооборота возможно с точностью не на всех площадках.

Использование метрик, на основе которых принимаются продуктовые решения, позволяет сэкономить денежные средства на развитии IT-продукта. Однако не всегда метрики можно точно собрать и эффективно использовать. Иногда приходится действовать, опираясь на неполные данные. Но даже этого достаточно для достижения позитивных результатов.

Основываясь на своем опыте и опыте моих коллег, хотелось бы сказать, что метрики помогают договариваться внутри команды и принимать грамотные продуктовые решения. Неудивительно, что работодатели хотят видеть у себя в в команде data driven продакт-менеджеров, а не просто специалистов, принимающих экспертные решения.

Интересуетесь продакт-менеджментом и стартапами? Тогда подпишитесь на мой телеграм-канал!