Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов
Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.
О клиенте:
21vek.by - крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.
Ассортимент превышает 600 000 товаров. Трафик сайта более 3 млн посетителей в месяц.
Задача:
Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта.
Чтобы маркетолог без привлечения разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.
Основная цель обращения к Popmechanic - улучшения сайта для роста бизнес-показателей.
Раньше любые небольшие изменения сайта мы могли реализовать только через наших разработчиков, и это занимало много времени.
А с Popmechanic такой проблемы нет. Можно очень быстро запустить эксперименты и протестировать свои гипотезы. А позже передать в полноценную разработку будучи уверенным в результате - в увеличении конверсии.
Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.
Делимся результатами A/B-тестов.
Цель 1. Увеличиваем конверсию в подписку
Решили протестировать несколько разных типов форм подписки.
Попробуйте угадать, какая форма собирала больше подписчиков?
Результаты A/B-теста в таблице ниже:
Выводы:
Идея сделать с простой формы на 1 шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот – сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.
Рекомендуем протестировать двухшаговую механику подписки и для вашего сайта.
Например, спросить “Хотите скидку -5%” или “Хотите получить приглашение на закрытую распродажу?”, и запросить email на 2 шаге, если посетитель выбирает вариант “Хочу”.
Цель 2. Увеличиваем доход за сеанс и коэффициент транзакций с помощью A/B-тестов
Кроме тестов форм подписки мы запустили десятки различных тестов с контрольной группой.
Как это работает?
Трафик сайта разделяется на несколько групп. Одной из групп изменения на сайте показываются, другой – нет. То есть мы создаем контрольную группу для оценки влияния показа определенной механики на поведение посетителей сайта и целевые метрики.
В таблице ниже представлена часть из тестов, которые дали достоверный результат по улучшению целевых показателей.
В результатах 1 цифра – показатели контрольной группы, 2 – показатели группы с показом механики.
Почему стартовые цифры контрольной группы разные?
Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.
То есть, в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за всё время. Более детальное описание каждого из эксперимента мы опишем в своем блоге.
Разберем для примера Эксперимент 5 из таблицы детальнее
Гипотеза эксперимента
Мы выдвинули гипотезу о том, что можно повысить количество транзакций и доход за сеанс, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке.
Потому как не все посетители сайта знают о существовании этой программы и это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.
Внешний вид механики
Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:
Количество бонусных баллов для товаров по скидке = Цена товара X 0,01
Количество бонусных баллов для товаров без скидки = Цена товара X 0,03
Результаты:
Мы запустили 2 отдельных A/B-теста для проверки гипотезы – для мобильных и для десктопных устройств.
На мобильном получили такие показатели:
С вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65% до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%. А что если бы коэффициенте транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866.
То есть, даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.
На десктопных устройствах достоверность улучшений при показе блока с баллами меньше 90%. Поэтому продолжим тест, оптимизировав внешний вид блока.
Сколько конкретно денег принес запуск механик и A/B-тесты?
Может показаться, что несколько процентов улучшения не имеют смысла.
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90% мы решили посчитать, на сколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.
Выводы:
- Не все механики позитивно влияют на конверсию. Часть проведенных тестов показала отрицательный результат. Именно поэтому важно тестировать изменения на сайте, а уже после этого их внедрять.
- Многие из механик – контринтуитивны.
- Поп-апы сильнее влияют на целевые метрики в сравнении с встроенными формами, что показал эксперимент с блоками о бонусных баллах в карточках товара. Поэтому рекомендуем не отказываться от этого инструмента, а тестировать и использовать его для наиболее конверсионных и важных механик
- Используйте акционные баннеры с таймерами, если у вас действуют акционные предложения. Простая лента с промокодом и таймером может значительно повысить конверсию на сайте в период акции
- Если у вас есть программа лояльности и бонусные баллы за покупку – протестируйте показ этой информации в карточке товара
- Даже небольшие изменения в карточках товара, показ акционных баннеров могут принести сотни тысяч долларов дополнительного дохода при больших объемах трафика
Техническая реализация и методология
Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.
Шаг 1: Выбор механики
Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.
Делимся нашим файлом для внутреннего использования с примерами:
Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы. Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.
Шаг 2: Формулировка гипотезы
Важно определить, что будет целью использования механики и за какими показателями мы будем следить.
Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.
Шаг 3: Выбор шаблона из каталога Popmechanic, адаптация его под внешний вид сайта и настройка условий показа
Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.
Выберем подходящий шаблон с каталога сервиса, адаптируем его:
Настраиваем условия показа формы:
Пример возможностей настроек для механики в ЛК Popmechanic
Показывать форму посетителям из России, на всех урлах, кроме содержащих “cart”, для тех посетителей которые более 3 раз заходили на сайт ранее и перешли сейчас с UTM-campaign, содержащей “2020”.
Тестируем и запускаем механику на сайте.
В Popmechanic можно кастомизировать формы, есть много готовых шаблонов, которые можно скорректировать под свой сайт. Все настройки очень гибкие, есть интеграция с Google Optimize и в целом есть возможность любой интеграции через webhook.
Шаг 4: Настройка эксперимента в Google Optimize
Google Optimize позволяет:
- Разделить равномерно трафик сайта на несколько сегментов
- Настроить показ или не показ механики одному из сегментов
- Выбрать целевые метрики на основе целей в Google Analytics
- Посмотреть отчет по результатам эксперимента с процентом достоверности показателей и рекомендациями
Шаг 5: Ждем результаты теста :
Google Optimize покажет вам через время после запуска теста 1 из статусов :
- определен более конверсионный вариант;
- между вариантами нет разницы;
- недостаточно данных и необходимо продолжить эксперимент;
Минимальное время для теста зависит от количества посетителей сайта и условий теста.
В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:
Шаг 6: Подтверждаем или не опровергаем гипотезу
Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать коллегам знания о поведении на сайте.
Заключение и что дальше
Итого, мы совместно с коллегами из компании 21 век мы проверили более 10 гипотез. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.
Планируем тестировать еще много новых механик и улучшать существующие показатели.
Историю успеха подготовили
Алина Расюк, Head of digital marketing 21vek.by
Юлия Повх, Product owner Popmechanic
Карина Каварнали, менеджер клиентского успеха Popmechanic