Почему A/B-тестирование не всегда работает, а все креативы мы теперь запускаем машинным обучением

Руководитель направления маркетинговых креативов в Joom Камилла Двораковская об экспериментах с Google Ads.

Одна из основных задач отдела маркетинга в Joom — автоматизировать все процессы по созданию и оптимизации рекламных кампаний. В работе мы используем механизмы машинного обучения, и процессы тестирования креативов были выстроены с учетом того, чтобы они все обновлялись с помощью алгоритма.

Конечно, это не финальное решение — мы всегда движемся в сторону более точечного подхода и автоматизации. Но общепринятые варианты тестирования креативов в отдельных рекламных кампаниях нам не подходят.

В 2018 году мы стали развивать и искать подходы к рекламным креативам и кампаниям для платформы Google Ads. Изначально мы использовали самый простой вариант: фото товаров в сочетании с плашкой с ценой (или скидкой) на белом или цветном фоне. Дальше мы анализировали и тестировали, влияет ли на эффективность рекламной кампании фон (цветной или белый), какой оттенок фона лучше использовать, а также сравнивали, как работают креативы со скидкой и креативы с ценой.

Дальше мы решили проверить чувствительность метрик, чтобы убедиться, что точечный подход к тестированию креативов будет иметь смысл. Например, мы запустили в одной рекламной кампании несколько вариантов картинок:

И когда по некоторым (в том числе и финансовым) метрикам кактус победил всех, мы поняли, что такие тесты нельзя считать правильными и стали искать другой подход.

Важно отметить, что на платформе Google объявление формируется из нескольких типов контента, например:

И так далее.

При этом нельзя говорить об эффективности отдельно взятого креатива (или картинка, или текст, или видео), так как они всегда используются в паре. Важно, что статистика по креативам тоже не чистая — если ваше видео показалось с текстом, то показ запишется и к нему, и к ролику.

Чтобы охватить как можно больше площадок для размещения, Google генерирует ролики, используя наши скриншоты в сторах. Так как статистика по таким креативам в рекламной кампании не показывается, мы решили запустить видеокреативы в выборочных странах, чтобы понять их эффективность для нашего продукта. После теста мы увидели, что видео получают более 50% объема трафика, и решили, что стоит начать двигаться в эту сторону.

Так мы стали использовать видеоролики. Оказалось, что это работает лучше всего. У видеороликов в наших рекламных кампаниях с хорошей эффективностью самый большой охват (а также показы, клики и установки). Мы начали искать возможность запускать и оценивать видео с учетом особенностей нашего подхода.

Мы развивались дальше и выделили три основных направления в видео:

После того, как мы начали активно использовать видеокреативы в рекламных кампаниях, стали думать, как выстроить процессы их тестирования и оценки с учетом особенностей платформы и нашего подхода к запускам в целом. Оказалось, что стандартный вариант тестирования креативов нам не подходит. И мы решили внедрить свой.

«Не так» было с двумя вещами.

По нашему опыту, эффективность креативов на тестовых бюджетах и в продакшне может сильно отличаться. Если вы видите хороший CTR/CR на 100 кликах и бюджете в $200 в день, это совсем не значит, что за $4000 вы получите пропорциональный результат.

Во-вторых, правильный A/B-тест креативов должен быть очень точечным. Чтобы ответить на вопрос, за счет чего изменились какие-либо метрики, нужно запустить два креатива, в которых будет отличаться только один элемент. И смотреть, повлияло ли то или иное изменение на метрики.

Мы приняли решение запускать новые креативы таким образом, чтобы лучшую комбинацию наша ML-система смогла сразу начать масштабировать.

Сейчас запуск рекламных кампаний настроен таким образом: ML-система делает случайный выбор из набора креативов (все тесты, ролики и картинки), отдавая предпочтение тем, которые еще не использовались в рамках страны (валюты).

У нас получились такие варианты наполнения рекламных кампаний:

Все кампании запускаются на минимальных бюджетах и ставках, установленных нами для каждой страны, и управляются ML. Система оптимизирует бюджеты кампаний в плюс или в минус в зависимости от эффективности или выключает кампанию (если Spend Rate за последние 7 дней меньше X$ или если eROI за последние 14 дней меньше X%).

После того, как наш ML выключает рекламную кампанию, автоматически запускается новая на основе тех же подходов, что были описаны ранее, плюс в зависимости от категории страны создаются новые рекламные кампании с определенной периодичностью (раз в неделю или две). Таким образом новые креативы всегда будут попадать в ротацию.

Используя этот подход, мы снимаем с себя риски, что набор креативов может крутиться слишком долго и использовать на себя большой процент бюджета. Мы тестируем их в реальном времени и не тратим время на проверки каждого вида креативов. Кстати, надо сказать, что для нас бюджеты на отдельные тесты и на тесты в реальном времени сопоставимы.

И, конечно, мы собираем статистику по каждой рекламной кампании и анализируем какие подходы работают лучше, плюс смотрим на распределение бюджетов по типам креативов (или картинка, или видео, или текст) в разбивке по странам. Мы всегда ищем новые подходы и улучшаем наши алгоритмы в работе с креативами и в работе с рекламными кампаниями в целом.

Думается, что девиз «Тестируем всё» можно применять и интерпретировать по-разному в зависимости от специфики и направленности отдела. А какие подходы в тестировании (чего угодно) используете вы? 🌵

#joom #googleads #маркетинг