Как мы запускали рейтинги и отзывы на товары в Авито

Привет! Я — Лиза, менеджер продукта в Авито. Мы с командой запустили рейтинги и отзывы на товары: теперь перед покупкой можно почитать мнение владельцев и принять более взвешенное решение, стоит ли покупать Hyundai Solaris или Volkswagen Polo.

В этой статье я покажу на реальном примере, какие этапы проходит продукт в Авито от идеи до раскатки на пользователей. Эта статья будет полезна, если вы хотите сберечь ресурс при выводе нового продукта на рынок и не оказаться в ситуации, когда продукт никому не нужен.

Все продукты проходят четыре стадии, каждая завершается защитой перед продуктовым комитетом: руководителями горизонтальных и вертикальных команд на всех этапах, а первых двух этапах дополнительно подключаются СРО и СТО.

Система гейтов позволяет своевременно понять, стоит ли двигаться дальше. Проходя стадии, можно осознать, что не существует проблемы, которую продукт призван решить / решение не представляет ценности / не будет иметь качественных каналов дистрибуции. Это экономит ресурсы и помогает инвестировать в масштабирование только проверенных продуктов.

Рейтинги и отзывы на товары — это важный этап CJM покупателя: исследования говорят, что в 90% онлайн-заказов решение о покупке клиент принимает с использованием отзывов.

Мы исследовали поведение посетителей Авито: в зависимости от вертикали, мы теряем от 1% до 14% потенциальных покупателей, которые сначала смотрели объявления на Авито, а после этого гуглили отзывы на конкретные модели товаров (например, «отзывы Kia Rio») и, соответственно, ушли к конкурентам. Возможно, после просмотра отзывов на ресурсах конкурентов посетители вернулись на Авито, но гораздо более вероятно, что они остались на платформах конкурентов, так как там созданы сценарии сравнения и бесшовного перехода к сделке.

Это исследование мы проводили с помощью инструмента Similarweb — плагин устанавливается в браузер и отслеживает активность в интернете. Среди пользователей Авито мы нашли тех, кто просматривал объявления в категориях «Авто», «Недвижимость» и «Товары», а после этого делал соответствующие запросы в поисковых системах. Стоит отметить, что такой метод исследования даёт смещённую выборку, так как в SimilarWeb попадают пользователи, которые добровольно установили себе плагин в браузер.

Но это исследование помогло нам понять верхнюю границу доли пользователей, которых мы можем удержать на Авито с помощью отзывов. Мы также подсчитали потенциал SEO-трафика и поняли, что сможем привлечь на площадку около 1,5% новых покупателей от текущего объёма, что в нашем случае напрямую увеличит количество сделок на площадке и поможет бизнесу вырасти.

На базе этих данных мы составили основные гипотезы для защиты на этапе Gate 1:

● Рейтинги и отзывы (далее по тексту РиО) на товары могут увеличить конверсию в покупку.

● РиО могут повысить Retention пользователей за счёт того, что они получили положительный опыт выбора модели на Авито в одной категории и могут вернуться на платформу, чтобы выбрать модель из другой вертикали.

● РиО могут увеличить DAU за счёт привлечения SEO-трафика.

● РиО могут увеличить скорость осуществления сделки, потому что снижают для покупателя барьеры перед принятием решения о покупке.

Мы получили «зеленый свет» на защите и стали изучать потенциальную целевую аудиторию глубже. Во время процесса дискавери мы провели несколько исследований.

Мы провели качественный опрос 8 респондентов, которые находились в процессе выбора автомобиля и делали это с помощью отзывов. Это помогло сформулировать гипотезы о критериях качественного отзыва: насколько развернутым он должен быть, должен ли быть структурирован по достоинствам, недостаткам или дан сплошным текстом, стоит ли добавлять фото или видео и какую информацию стоит рассказать об авторе отзыва, чтобы отзыв был исчерпывающим. Для валидации этих гипотез мы проводили количественные исследования.

Например, чтобы понять, должен ли отзыв быть разделён на достоинства и недостатки или же написан сплошным текстом, мы провели исследование в «Толоке». Текст отзыва о стиральной машине представили в двух форматах: сплошным текстом и по блокам, респондентов попросили кликнуть на ту область отзыва, где давался ответ на вопрос, есть ли у стиральной машины режим деликатной стирки (см. скриншот).

Также мы попросили респондентов оценить удобство использования отзывов. После этого мы оценили, какой процент респондентов верно кликнул по области отзыва, сколько времени в среднем потребовалось каждой из групп для принятия решения и какая группа набрала более высокий балл по удобству чтения отзыва. Исследование показало, что пользователи быстрее находили информацию в структурированном отзыве, хотя при этом одинаково оценивали удобство. Так мы поняли, что отзывам на Авито нужна структура.

После исследований мы смогли составить мокапы, которые описывали схему формы оставления отзывов и отображения отзывов на странице модели. Дальше за дело взялся дизайнер, который собрал первый прототип для UX-тестов.

Для UX-исследования мы пригласили 10 респондентов, которые за последние полгода выбирали автомобиль по отзывам и продали своё предыдущее авто. Это была та целевая аудитория, которая могла одновременно протестировать и сценарий чтения отзывов на наших макетах, и сценарий оставления отзыва, так как они продали свою машину и могли поделиться опытом её использования.

Мы тестировали мобильную и десктопную версию макетов, так как сразу планировали сделать мультиплатформенный продукт: большая часть трафика Авито приходится на мобильные платформы.

Весьма неожиданным для нас стало то, что на мобильных устройствах авторам было принципиально видеть свой написанный отзыв перед отправкой. В десктопной версии такого желания не было, так как форма оставления отзыва помещается в viewport, а даже если и нет, то её можно проскроллить. На мобилках же для проверки своего отзыва нужно было возвращаться на предыдущие страницы, что весьма неудобно.

Этот пример лишний раз показал необходимость проведения UX-исследований на разных платформах до запуска. Если бы не провели это исследование, то не узнали бы о пользовательской проблеме, критичной для одной из платформ.

Параллельно мы исследовали гипотезы ценности и убеждались в их (не)жизнеспособности.

После финализации макетов мы составили roadmap разработки и защитились на Gate.

Рейтинги и отзывы — UGC-продукт, а работа с большинством таких продуктов делится на два этапа:

Мы понимали, что для валидации основных гипотез ценности нам сначала нужно запустить продукт, собрать определённый объём отзывов и только после этого доказывать с помощью обратных A/B-тестов, что отзывы влияют на конверсию в сделку и Churn Rate. Мы сосредоточились на доле просмотров объявлений, приходящейся на товары с рейтингом. Иначе говоря, мы должны были ответить на такой вопрос: какая доля просмотров объявлений будет приходиться на товары с рейтингом, если мы выведем его на объявление. Этот показатель стал нашей метрикой покрытия.

Чтобы составить прогноз покрытия и оценить успешность запуска, мы воспользовались данными, которые у нас уже были: на Авито несколько лет существуют рейтинги и отзывы на продавцов, которые собираются проактивно с помощью пушей и уведомлений. Из этих данных мы взяли средние значения конверсий из пушей с запросом отзыва в реально оставленные и прошедшие модерацию отзывы.

Мы понимали, что основная аудитория, которая может оставить отзывы, — продавцы, недавно продавшие б/у товары в категориях, где мы планировали запуск. Ведь они какое-то время пользовались товаром и могут честно рассказать о своих впечатлениях. Мы посчитали, у скольких продавцов можем запросить отзыв, умножили на нужные конверсии и получили прогнозируемые значения — мы рассчитывали покрыть 80% просмотров объявлений в категории «Авто».

Также решили катить новый продукт без A/B-теста, который используем для уменьшения рисков при запуске, чтобы только часть пользователей увидела новый функционал. Причин было несколько:

Перед раскаткой на внешних пользователей мы открыли доступ к продукту сотрудникам. Это помогло отловить баги перед выкаткой на всех и собрать первую обратную связь. В итоге после запуска мы не получили ни одного обращения в поддержку по поводу багов.

После запуска мы стали активно приводить пользователей в продукт — запустили рассылку. На следующий день работа команды была парализована: мы как зачарованные следили за приходящими отзывами, читали их и получали удовольствие от того, что продукт действительно работает! По итогу рассылки мы собрали больше 600 отзывов, хотя целились в 450.

Собрав отзывы, мы сравнили полученные значения покрытия с теми значениями, которые получились в прогнозе — цель перевыполнили на 3 процентных пункта. Это небольшое превышение прогноза дало понимание, что выбранный метод прогнозирования довольно точный и мы можем использовать его для запуска в новых категориях.

Мы также поговорили с пользователями, которые успешно оставили отзыв, и с теми, кто не сделал этого, что позволило понять узкие места и дополнить бэклог фичами.

В фоновом режиме мы следили и за качеством отзывов, так как не все они одинаково полезны. Например, отзыв «всё ок» не даст никакой полезной информации человеку, который задумывается о покупке товара. Гораздо лучше прочитать отзыв, который содержит примеры использования, рассказывает про возможные «болезни» конкретной модели, оценивает, сколько будут стоить обслуживание и ремонт, а ещё лучше — содержит фотографии.

Мы также изучили сторонние ресурсы и своих пользователей, чтобы узнать сколько качественных отзывов нужно пользователю для принятия решения о покупке. Узнали, что покупатели начинают доверять отзывам, когда их не менее 11 штук.

Эти знания помогли нам сформулировать метрику качества — доля просмотров объявлений, где у модели более 11 отзывов длиной не менее 75 символов или есть фото. На момент написания статьи это наша основная метрика, которая наилучшим образом иллюстрирует полезность отзывов на площадке.

После успешного запуска в «Авто» встал вопрос: в каких категориях и как масштабировать продукт.

Мы решили синхронизироваться со стейкхолдерами и уточнить их приоритеты перед Gate 3. Оказалось, что к тому времени команда «Электроники» приняла решение активно развивать категорию «Телефоны». Для вертикали было критически важно настроить процесс выбора модели на площадке и создать плавный переход от выбора к сделке.

Вертикаль «Недвижимость» тоже хотела запустить отзывы, но технически не была готова к этому.

Мы поняли, что запуск отзывов в категории «Телефоны» не только пойдёт на пользу продукту, но и поддержит бизнес-приоритеты всей компании, поэтому приняли решение запустить отзывы именно в этой категории, а запуск в «Новостройках» отложить.

Авито — это суперапп, внутри несколько продуктов и у каждого своя специфика, поэтому мы не могли просто взять флоу категории «Авто» и нажать галочку, чтобы он заработал в категории «Телефоны». Отзывы на «Авто» содержали специфичную для автомобилей информацию об авторе: например, общий стаж вождения и опыт использования модели, а также подсказки, которые просили рассказать о стоимости технического обслуживания и «детских болезнях» автомобиля.

Благодаря тому, что мы уже запустились в Авто, все исследования в новых категориях проходили в разы быстрее: у нас были скрипты опросов, макеты, которые успешно прошли UX, методики подсчета прогноза сбора отзывов, которые нужно было немного доработать, а не начинать с нуля.

Тем не менее нам нужно было изучить процессы чтения и оставления отзывов на телефоны, чтобы понять специфику:

Сейчас отзывы доступны в «Автомобилях», «Телефонах» и «Грузовиках». В течение года мы планируем запустить ещё несколько категорий.

Основная цель нашей команды на год — работа над качеством отзывов и проверка гипотезы, что рейтинги влияют на конверсию в покупку и churn rate. Для этого мы проводим A/B-тесты (например, вывод рейтинга на объявление), увеличиваем количество точек входа, планируем обратный A/B, где часть пользователей перестанет видеть отзывы. Такой тест покажет, зависит ли на самом деле конверсия в покупку от наличия отзывов.

Рук на все задачи в команде не хватает, поэтому мы активно нанимаем. Посмотреть вакансии в нашей команде и не только можно здесь.

Система гейтов — отличный инструмент, который помогает вовремя задать вопросы прежде всего самому себе, а после этого убедиться, что вы думаете в одном направлении со стейкхолдерами. Такой подход позволяет учесть возможные разногласия ещё на этапе исследования продукта и отказаться от реализации, если вы поняли, что продукт не нужен рынку.

Итеративный процесс защиты позволяет быстро узнавать об изменении бизнес-приоритетов основных стейкхолдеров и адаптировать продукт под реалии рынка.

Этот подход требует прогнозирования сроков, стоимости и ресурсов. В большой компании это помогает обосновать необходимость развития именно вашего продукта, приоритизировать найм и получить ресурсы.

В процессе дискавери команда может чувствовать себя новорожденным слепым котёнком. У вас нет ни малейшего представления о том, что именно вас окружает и что будет, если вы пойдете в одну или другую сторону. Но с каждым пройденным гейтом и прожитым днём вы видите всё больше, и вскоре более-менее отчётливо можете предсказать, что ждёт за поворотом.

Автор: Елизавета Князева, менеджер продукта в Авито.