Увеличение конверсии интернет-магазина: сила дефолта и особенности проведения A/Б теста на примере HolySkin.ru
Всем привет. Меня зовут Фёдор Гвоздев, я основатель интернет-магазина корейской косметики HolySkin.ru. Работаем над проектом с 2013 года. За это время провели сотни А/В-тестов и создали архив-базу в Notion, чтобы избежать дублирования тестов и обеспечить команде быстрый доступ к данным.
В данном материале будет разобран кейс А/Б-тестирования с изменением страницы оформления заказа - от формирования гипотезы до анализа полученных результатов с использованием качественных и количественных метрик.
Объект исследования – количественные метрики интернет-магазина: средняя стоимость заказа и показатели конверсии из корзины в заказ
Цель исследования – понять, каким образом изменение способа доставки по-умолчанию при оформлении заказа влияет на конверсию и размер средней стоимости заказа
Использованные инструменты – Google Analytics, Google Enhanced Ecommerce, GTM, Owox Bi, Google Data Studio, Google BigQuery, Notion.
Вводные данные и особенности интернет-магазина
HolySkin — это интернет-магазин корейской косметики с классическим дизайном. Реализованы каталог, карточки товара, корзина и оформление заказа.
Нашей целью в период с января по март 2020 было:
- Увеличить средний чек заказов в регионе Санкт-Петербург
- Снизить вероятность отмены заказа в регионе Санкт-Петербург
На данном проекте были настроены Google Tag Manager, подключена расширенная электронная торговля Google Analytics (Enhanced Ecommerce) и настроена передача возвратов в Google Analytics.
Далее данные будут представлены только на основе информации из региона Санкт-Петербург и Ленинградская область.
В ходе анализа отчетов, полученных при помощи подключенных ранее инструментов, обнаружена закономерность: пользователи, выбирающие самовывоз из магазина, чаще отменяют заказы. При этом средняя стоимость таких заказов - ниже. Напротив, пользователи, которые предпочитают иные способы доставки, отменяют заказы на 70% реже, а средняя стоимость заказов таких пользователей - в 2 раза выше.
Статистика распределения вариантов доставки при оформлении заказа, данные взяты за предыдущие 4 месяца:
- 55% со способом доставки «самовывоз из магазина»
- 30% самовывоз из пунктов выдачи и постаматов
- 15% курьерская доставка
Высокий процент заказов, приходящийся на пункт “самовывоз из магазина”, нам показался странным. Санкт-Петербург – крупный город, в котором у нас подключено более 1000 пунктов выдачи. Стоимость доставки в пункты выдачи - одна из самых низких по городу. С учетом времени в пути и стоимости за проезд - забрать заказ прямо рядом с домом или работой кажется более удобным выбором.
На основе этого выдвигаем предположение, что пользователи на самом деле НЕ выбирают самовывоз, а просто используют способ доставки по-умолчанию, которым в тот момент времени и являлся самовывоз из магазина, а сам способ доставки им не важен.
Формулируем гипотезу и проводим А/Б тест
На основе полученной статистики и наших предположений, формулируем гипотезу:
ЕСЛИ настроить выбор способа доставки в пункты выдачи по-умолчанию,
ТО мы увеличим % заказов в пункты выдачи и таким образом увеличим среднюю стоимость заказа и снизим количество отмен,
ПОТОМУ ЧТО потребителю не важен способ доставки, и он выбирает установленный по дефолту
Полагаясь на данные о статистике отмены заказов среди пользователей, которые выбирают доставку в пункт самовывоза или доставку курьером, мы предполагали увеличить средний чек и снизить количество отмен через изменение порядка способов доставки в нашем меню.
Исходные данные перед проведением А/В-теста
Изменения: пункты выдачи переносим на первое место в выпадающем меню и включаем их как способ доставки по-умолчанию, самовывоз из магазина переносим на последнее место в выпадающем меню.
Для отслеживания результатов, динамики и составления графиков использовали набор инструментов: Google Analytics, Owox Bi, Google Data Studio, Google BigQuery. Результаты А/В-тестирования сохранили в Notion, чтобы сэкономить ресурсы команды и избежать повторных идентичных тестов в будущем.
Проверка гипотезы осуществлялась в период 20.01.2020 по 26.01.2020 . Длительность самого сплит-тестирования составила 5 рабочих дней, поскольку в связи с полученными результатами А/В-тест решено было остановить. Для теста выбрано 25% от общего количества посетителей интернет-магазина.
Ключевые метрики количественные:
- конверсия из корзины в заказ;
- средняя стоимость заказа (средний чек).
Доли посетителей, заходящих с мобильного телефона и с персональных компьютеров, составили 60 и 40%. Регион – Санкт-Петербург и Ленинградская область. Распределение трафика производилось динамически. Основной источник трафика – переходы по рекламе (Google.Ads, Criteo, Facebook.Ads, Yandex.Direct).
В течение периода тестирования следили за тем, чтобы все формы и выпадающие списки работали корректно: важно было не допустить ситуации, когда технические ошибки влияют на чистоту и качество результатов. Замеры проводились параллельно, чтобы исключить риск влияния внешних факторов (сезонность, рекламные кампании и разные источники трафика). Уровень статистической значимости составляет 5%.
Результаты А/В–тестирования:
Анализ результатов А/В-тестирования
Средняя стоимость заказа выросла на 55%, как мы и предполагали
А вот конверсия корзины снизилась на 67% — со средних 30% до 18%
Количество заказов в пункты выдачи выросло на 20%, а в магазин сократилось вдвое.
Гипотеза о том, что пользователи используют способ доставки по дефолту, оказалась верной, однако мы не учли два фактора:
- Посетителям очень важен магазин
Опросы посетителей, которые мы провели впоследствии, показали, что магазин является более привлекательным способом доставки, из-за: скорости, доверия, атмосферы, отсутствия платы за доставку.
Мы не получали обратной связи, что кто-то не мог найти в способе доставки самовывоз из магазина, поэтому допускаем, что если проблема и встречалась, то лишь у небольшого процента посетителей.
На сайте присутствует много упоминаний магазина и быстрой доставки — на карточках товара, на странице доставки, в контекстной рекламе.
Основываясь на всем этом, мы пришли к выводу, что посетители ожидали увидеть магазин. Когда они не видели его сразу, то откладывали заказ и уходили.
- Посетители не любят принимать сложные решения и слишком широкий выбор, который требует больших затрат времени
После того как список ПВЗ оказался первой опцией в списке доставки – это значительно усложнило процесс оформления заказа: посетителям приходилось дополнительно искать и выбирать удобный пункт из более чем 1000 ПВЗ, а также читать про сроки доставки и условия работы конкретного пункта выдачи.
Тогда как при самовывозе из магазина по-умолчанию, все происходило фактически в один клик: достаточно было заполнить контактные данные и нажать кнопку «оформить заказ».
Вывод
Исходя из всего вышесказанного — то, что вы ставите по дефолту — играет очень важную роль. Если вы используете конверсионные и простые решения, то вы можете улучшить результат. Если введете непопулярную или сложную опцию, можете снизить показатели. Но всё это покажут лишь тесты.
Наш опыт, результаты исследования и полученные выводы - окажутся полезными и могут быть использованы в процессе разработки и оптимизации работы интернет-магазинов.
Проводите А/Б тесты. Они позволят получить более полноценную информацию, подтвердить или опровергнуть ваши догадки. Даже если вы основываетесь на цифрах статистики и уверены в своем решении на 100%, вы можете просто не учесть какие-то факторы, которые статистика не всегда показывает.