А/В-тестирование, которое увеличило нам CTR на 91% за 5 шагов

В статье о том, как правильно провести А/B-тестирование и избежать частых ошибок. Шаг за шагом объясняем на реальном примере, где мы с помощью тестов увеличили кликабельность рекламы на 91,67%. Поймете, как правильно формулировать гипотезы и сможете сразу же применить инструменты в своей сфере.

Летом мы запустили рекламу для онлайн-курсов программирования для детей. Всё было продумано и всегда давало хороший результат: правильный оффер, понятный текст, качественная картинка.

Но был один нюанс — кликов почти не было. CTR составил всего 0,12%, что критически мало для рекламы во ВКонтакте.

Нужно было вводить изменения в изображения. Но что именно даст результат? Чтобы не гадать, мы провели A/B-тестирование. В результате всего одно изменение — дало прирост CTR на 91%.

Привет, это Ирина, редактор маркетингового агентства «Анкер»! В этой статье мы пошагово разберем, как правильно проводить A/B-тестирование, чтобы получить достоверные данные и реальные результаты. Все на на примере реального конкретного кейса и тестировании.

Сможете применить инструменты в своей сфере и поймете, какие ошибки искажают результаты тестирования.

Давайте читать.

Что такое A/B-тестирование и зачем оно нужно

Где применяется (сайты, реклама, email-рассылки и т. д.)

Этапы проведения A/B-тестирования

Ошибки, которых стоит избегать

A/B-тестирование (или сплит-тестирование) — это метод, который помогает определить, какой вариант рекламы, страницы сайта или рассылки работает лучше.

Суть теста проста: аудиторию делят на две группы и показывают им разные версии одного и того же элемента, а затем сравнивают результаты.

Цель метода — понять, какое изменение приведёт к лучшему результату, например к росту конверсии.

Когда стоит проводить A/B-тест?

- Нужно улучшить ключевые показатели (конверсия, кликабельность и т. д.);

- В команде есть разногласия по поводу изменений;

- Клиент предлагает изменения, но нет уверенности, что они улучшат ситуацию;

- Нужно доказать эффективность нового инструмента.

Применяется а/б тестирование практически везде:

Мы разберем весь процесс тестирование на примере одного из наших проектов, где нам удалось поднять кликабельность на 91%.

Прежде чем запускать тест, нужно чётко понять, что именно вы хотите улучшить.

Например, в нашем примере мы будем рассказывать о том, как проводили A/B-тестирование для повышения кликабельности рекламных объявлений (CTR).

Идеально придерживаться принципа 80/20%. Мы распределяем 80% бюджета на рабочие связки, а 20% пускаем на тестирование, в том числе и текущих рекламных кампаний по принципу A/B теста. По такому принципу мы осваиваем по 3 000 000 рублей на одном из проектов по детскому онлайн-программированию.

Рекомендации:

- Определите метрику, по которой будете измерять результаты. Подойдут только количественные метрики, выраженные в цифрах. К ним относятся, например, CTR, CPA, конверсия и т. д.);

- Запишите текущие показатели, чтобы иметь точку отсчёта.

На старте работы с одним из наших проектов — онлайн-курсах программирования для детей — кликабельность рекламы была всего 0,12%, что в 4 раза меньше, чем по нашим показателям в других проектах в ВКонтакте для схожих проектов.

Мы поставили цель – увеличить этот показатель, чтобы реклама лучше откручивалась.

Гипотеза в A/B-тестировании — предположение о том, какой вариант объекта принесёт лучший результат. Важно, чтобы гипотеза была чёткой и проверяемой.

❌ «Сделать креатив более цепляющим» – это слишком размыто и непонятно.

✅ «Если переместить кнопку в нижний правый угол страницы, то кликабельность повысится в три раза».

Обычно гипотезу составляют по простой формуле: «вариант B работает лучше, чем вариант A». В процессе A/B-теста вы либо сможете подтвердить гипотезу, либо опровергнете её.

Так как мы ежемесячно откручиваем по 3 млн руб. в нише детского инфобизнеса с другими клиентами, тестировать тексты, офферы и посадочные страницы мы не стали. В них точно не было проблем.

Поэтому мы решили тестировать замену изображений в рекламе.

Наша гипотеза для повышения кликабельности звучала так: «Если заменить текущий креатив на более простой (без дизайнерских элементов), то кликабельность увеличится».

На этом этапе создаются два варианта элемента, который тестируется.

Нам важно было оставить фотографию школы, чтобы цеплялось внимание родителей, которые приводят своего ребенка учиться в это здание. Мы подготовили два новых варианта рекламного креатива:

1. С надписями без дизайнерских элементов: линий, треугольников, минимизировали «вылизанность», но при этом оставили упоминание номера школы и оффер.

2. Без надписей: оставили упор только на фотографии, все офферы были в текст.

Размер выборки — это количество пользователей, которым покажут разные варианты объекта. От размера выборки зависит достоверность результатов A/B-тестирования: если пользователей слишком мало, результат нельзя считать верным. Для достоверности теста важно определить, сколько людей должны увидеть каждую версию.

Обычно тестируют 2–30% от генеральной совокупности пользователей, это все пользователи, которые взаимодействуют с объектом. Например, число посетителей сайта в месяц.

Чтобы понять, эффективный или нет креатив мы подобрали, с точки зрения продаж, достаточно скрутить его на 15-20к показов по всем объявлениям.

После теста необходимо сравнить метрики и определить, какой вариант показал лучшие результаты.

Если новый вариант показал, например, конверсию на 5% больше, его внедряют и используют дальше. Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её.

В нашем случае, результаты тестирования получились такие:

- Исходный креатив: CTR 0,12%;

- Креатив без дизайнерских элементов: CTR 0,23%;

- Креатив без надписей: CTR 0,20%.

Вариант с простым текстом и без дизайнерских элементов дал наилучший результат. Мы увеличили CTR на 91,67% и внедрили этот креатив в рекламную кампанию.

На этом мы не остановились. У нас была ещё одна гипотеза, которая лежит на поверхности, но мало кто об этом задумывается.

Она дала прирост CTR еще на 75%! Подробно об этом рассказывали в прошлой статье:

Как поднять кликабельность рекламного объявления в ВКонтакте на 166,67%.

- Тестирование сразу нескольких изменений.

Нельзя одновременно менять несколько элементов — например, цвета кнопок, призывы к действию, фотографии и текст. Иначе невозможно будет понять, какое из изменений повлияло на результат.

Поэтому нужно следовать правилу: одно изменение — одно сплит-тестирование.

- Недостаточный объём выборки и преждевременное завершение теста — маленькая выборка может дать случайные результаты.

Не стоит завершать сплит-тестирование раньше, чем был достигнут размер выборки. Результаты могут быть недостоверными. Невозможно понять какой креатив отработал лучше, если по одному было совершено 10 кликов, а по другому 12.

- Игнорирование внешних факторов.

На результаты эксперимента могут влиять внешние факторы: сезонность, периоды распродаж. Чтобы получить статистически значимые результаты, лучше проводить A/B-тестирование в нейтральные периоды.

Лучше заранее для самих себя обозначить, что могут быть внешние условия, которые сейчас могут повлиять на конечный результат.

Итак, для успешного теста важно:

- Четко определить цель и метрики (CTR, CPA, конверсия и т. д.);

- Проверять только одно изменение за тест;

- Набрать достаточную выборку пользователей;

- Учитывать внешние факторы (например, сезонность);

- В нашем кейсе замена сложного креатива на более простой дала рост CTR с 0,12% до 0,23% (+91%).

А какой тестинг был у вас самым удачным? Какие рекомендации или ошибки мы упустили? Делитесь опытом в комментариях.

Пишите в личные сообщение, если хотите стабильный и качественный поток лидов. Составим для вас бесплатную маркетинговую стратегию.