Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов

Рассказываем, как мы увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 тысяч $ дополнительного дохода с помощью A/B-тестов. А еще в этой статье поделимся ссылкой на таблицу с примерами 100+ механик для повышения конверсии сайта.

21vek.by - крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.

Ассортимент превышает 600 000 товаров. Трафик сайта более 3 млн посетителей в месяц.

Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта.

Чтобы маркетолог без привлечения разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.

Основная цель обращения к Popmechanic - улучшения сайта для роста бизнес-показателей.
Раньше любые небольшие изменения сайта мы могли реализовать только через наших разработчиков, и это занимало много времени.
А с Popmechanic такой проблемы нет. Можно очень быстро запустить эксперименты и протестировать свои гипотезы. А позже передать в полноценную разработку будучи уверенным в результате - в увеличении конверсии.
Алина Расюк, Head of digital marketing 21vek.by

Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.

Делимся результатами A/B-тестов.

Решили протестировать несколько разных типов форм подписки.

Попробуйте угадать, какая форма собирала больше подписчиков?

Результаты A/B-теста в таблице ниже:

Кейс 21vek.by и Popmechanic: +330 тысяч $ дополнительного дохода с помощью A/B-тестов

Выводы:

Идея сделать с простой формы на 1 шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот – сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.

Рекомендуем протестировать двухшаговую механику подписки и для вашего сайта.

Например, спросить “Хотите скидку -5%” или “Хотите получить приглашение на закрытую распродажу?”, и запросить email на 2 шаге, если посетитель выбирает вариант “Хочу”.

Кроме тестов форм подписки мы запустили десятки различных тестов с контрольной группой.

Трафик сайта разделяется на несколько групп. Одной из групп изменения на сайте показываются, другой – нет. То есть мы создаем контрольную группу для оценки влияния показа определенной механики на поведение посетителей сайта и целевые метрики.

В таблице ниже представлена часть из тестов, которые дали достоверный результат по улучшению целевых показателей.

В результатах 1 цифра – показатели контрольной группы, 2 – показатели группы с показом механики.

Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.

То есть, в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за всё время. Более детальное описание каждого из эксперимента мы опишем в своем блоге.

Мы выдвинули гипотезу о том, что можно повысить количество транзакций и доход за сеанс, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке.

Потому как не все посетители сайта знают о существовании этой программы и это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.

Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:

Количество бонусных баллов для товаров по скидке = Цена товара X 0,01

Количество бонусных баллов для товаров без скидки = Цена товара X 0,03

Встроенный блок с показом бонусных баллов на следующую покупку

Мы запустили 2 отдельных A/B-теста для проверки гипотезы – для мобильных и для десктопных устройств.

На мобильном получили такие показатели:

С вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65% до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%. А что если бы коэффициенте транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866.

То есть, даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.

На десктопных устройствах достоверность улучшений при показе блока с баллами меньше 90%. Поэтому продолжим тест, оптимизировав внешний вид блока.

Может показаться, что несколько процентов улучшения не имеют смысла.
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90% мы решили посчитать, на сколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.

Выводы:

Не все механики позитивно влияют на конверсию. Часть проведенных тестов показала отрицательный результат. Именно поэтому важно тестировать изменения на сайте, а уже после этого их внедрять.
Многие из механик – контринтуитивны.
Поп-апы сильнее влияют на целевые метрики в сравнении с встроенными формами, что показал эксперимент с блоками о бонусных баллах в карточках товара. Поэтому рекомендуем не отказываться от этого инструмента, а тестировать и использовать его для наиболее конверсионных и важных механик
Используйте акционные баннеры с таймерами, если у вас действуют акционные предложения. Простая лента с промокодом и таймером может значительно повысить конверсию на сайте в период акции
Если у вас есть программа лояльности и бонусные баллы за покупку – протестируйте показ этой информации в карточке товара
Даже небольшие изменения в карточках товара, показ акционных баннеров могут принести сотни тысяч долларов дополнительного дохода при больших объемах трафика

Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.

Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.

Делимся нашим файлом для внутреннего использования с примерами:

100 механик для повышения конверсии сайта

Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы. Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.

Важно определить, что будет целью использования механики и за какими показателями мы будем следить.

Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.

Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.

Выберем подходящий шаблон с каталога сервиса, адаптируем его:

Каталог для выбора готовых шаблонов

Настраиваем условия показа формы:

<p><b>Пример возможностей настроек для механики в ЛК Popmechanic</b></p><p>Показывать форму посетителям из России, на всех урлах, кроме содержащих “cart”, для тех посетителей которые более 3 раз заходили на сайт ранее и перешли сейчас с UTM-campaign, содержащей “2020”.</p>

Тестируем и запускаем механику на сайте.

В Popmechanic можно кастомизировать формы, есть много готовых шаблонов, которые можно скорректировать под свой сайт. Все настройки очень гибкие, есть интеграция с Google Optimize и в целом есть возможность любой интеграции через webhook.
Алина Расюк, Head of digital marketing 21vek.by

Google Optimize позволяет:

Разделить равномерно трафик сайта на несколько сегментов
Настроить показ или не показ механики одному из сегментов
Выбрать целевые метрики на основе целей в Google Analytics
Посмотреть отчет по результатам эксперимента с процентом достоверности показателей и рекомендациями

Google Optimize покажет вам через время после запуска теста 1 из статусов :

- определен более конверсионный вариант;

- между вариантами нет разницы;

- недостаточно данных и необходимо продолжить эксперимент;

Минимальное время для теста зависит от количества посетителей сайта и условий теста.

В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:

Скриншот Google Optimize после проведения теста

Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать коллегам знания о поведении на сайте.

Итого, мы совместно с коллегами из компании 21 век мы проверили более 10 гипотез. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.

Планируем тестировать еще много новых механик и улучшать существующие показатели.

Алина Расюк, Head of digital marketing 21vek.by

Юлия Повх, Product owner Popmechanic

Карина Каварнали, менеджер клиентского успеха Popmechanic

23 комментария

Сергей Бусуркин

18.02.2021

Круто структурировано, спасибо за материал.

Однако остался ряд вопросов:
При выборке конкретных сегментов для того же эксперимента №5 какие факторы учитывались?
Условно, в тот же промежуток времени в прошлом году / на год раньше с этой же формы не шёл рост продаж?

Кроме данного изменения, никаких гипотез в этот же промежуток времени не тестировалась, где выборка могла пересекаться?
Опять же, условно не в рамках карточки товара, а на другом этапе, что постфактум могло повлиять на cr?

Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?

Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
И исходи из этого коэффициента, какой фактический профит в данной фичи?

Ответить

Юлия Повх

Автор

Спасибо!
1) В эксперименте 5 мы запустили 2 отдельных А/B-теста в Google Optimize
1 – посетители с десктопных устройств, распределение трафика 50:50 на показ и не показ
2 – посетители с мобильных устройств , распределение трафика 50:50 на показ и не показ
Выборка сегментов производится автоматически рандомным алгоритмом Google Optimize, посетителю при визите на сайт выдается id сегмента. То есть, во всех сессиях этого посетителя будет/не будет блока

2) Именно по этому эксперименту не пересекались, но в целом несколько тестов можно запускать, потому как распределение будет на большой выборке всё равно равномерное с экспериментами, которые запущены

3) Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?
Не проверяли к сожалению такую гипотезу, так как тест только завершился недавно. Подумаю, попробуем создать сегмент и посмотреть изменения в поведении дальше

4) Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
В данном случае не просчитывали, так как задача стояла увеличить конверсию и рассказать о бонусных баллах. Поскольку бонусные баллы начисляются в любом случае и пользователю не нужно отдельно регистрироваться в бонусной программе. То есть, мы начисляем бонусные баллы НЕ только сегменту, которому показывали об этом, а всем в любом случае. Поэтому корректнее рассматривать экономику ПЛ отдельно от этого эксперимента. Тут мы скорее ставим гипотезу о том, что будет, если мы будем подчеркивать наличие ПЛ.

Артём Лисин

Это вечно избитый вопрос кейсов, никто не соотносит по периодам, не сопоставляет прочую динамику запросов (активности) и пр.
Но в целом, если проводится эксперимент, то чистота анализа выше, за счет того, что в один срез времени, компания с разными настройками льется на разделенную аудиторию.