Как я выбирал сервис A/B-тестирования

Это сложнее, чем красная или зеленая.

Эпоха Google Optimize все ближе к закату – Google уже анонсировал сворачивание сервиса в своем изначальном виде 30 сентября. При этом (хвала небесам) была объявлена поддержка third–party-приложений сплит-тестирования для интеграции c GA4. С этого момента я начал свое исследование.

Меня зовут Александр Игнатенко, я занимаюсь маркетинговой аналитикой, консультирую по настройке и принятию решений с помощью данных и также помогаю с обучением, разработкой и внедрением кастомных моделей атрибуции и A/B-экспериментами. Кроме того я веду телеграм-канал о маркетинговой аналитике «Модель атрибуции».

За последний месяц я прощупал (в рамках демо, триалов и изучения документации) кучу разных программных продуктов для проведения A/B-тестов и составил мой личный топ тех из них, кто сможет заменить Google Optimize. И при этом не оставит меня без штанов.

Эта статья – подборка приложений для проведения и анализа экспериментов, способных стать альтернативой Google Optimize после его заката. Итак, поехали.

Начало этого обзора c верхнеуровневым анализом сервисов можно прочесть здесь.

Вводные – критерии топа

8 место

7 место

6 место

5 место

4 место

3 место

2 место

1 место

Вне конкурса

Заключение

Мне, как и Оскару Уайльду, достаточно было всего ничего:

Очень странные ребята. Три раза я оставлял заявку на демо. Ноль внимания. Потом меня подписали на рассылку (спасибо). Я ответил на письмо с запросом демо. Мне в ответ прислали календарь. Я забукал слот, вышел в указанное время на связь и недолго просидел в тишине. Видит бог, я сделал все что мог.

Примерная оценка по стоимости (исходя из запросов по трафику) оказалось в районе $100k в год. В принципе на этом можно было и заканчивать. Сервис включает в себя все что мне нужно и даже больше, но не отвечает на самый главный вопрос – почему это столько стоит?

Еще один продукт с фокусом на энтерпрайз. На нашем первом созвоне, громко названным "демо", 80% времени было потрачено на то, чтобы я ответил на квалифицирующие вопросы. Когда очередь дошла до моих вопросов, мне было обещано письмо с подробными ответами. Ну ок.

В итоге письмо я получил и ответы оказались действительно развернутыми. Практически весь мой скромный список был удовлетворен. Кроме разве что стоимости - $45к в год (могу кстати ошибаться с точной цифрой, но порядок такой – ребята, простите). Ну и в отсутствие возможности пощупать триал (не предполагается) я отправил этот сервис на дно своего рейтинга.

Очень интересный сервис. Стоит несколько меньше – исходя из моих требований около €35к в год, а вмещает, в том числе кучу интересных (но не особо мне нужных) функций по персонализации. По заявлениям менеджеров способен обеспечить самый быстрый отклик в индустрии и наименьшее влияние эффекта мерцания.

Обходительные и приятные девушки на мою просьбу об организации триал-доступа взяли паузу. И она к сожалению длится до сих пор. Поэтому 5 место.

Молодой, но очень крутой сервис от выходцев из Booking.com. Демо-звонок со мной проводил кофаундер Jonas Alves (ex-Product Owner Experimentation @ Booking.com) и то был первый в рамках исследования разговор, когда собеседник не особо мучал меня преквалификацией, но много и детально рассказывал о технических и статистических тонкостях.

Меня зацепил интересно организованный лог экспериментов – с комментариями участников, историей и другими штуками – что-то среднее между каналом в Slack и докой в Confluence.

Кроме того, импонирует упор основателей на sequential testing – он позволяет проводить много одновременных экспериментов и достаточно быстро получать адекватные результаты.

К сожалению, AB Smartly не предусматривает наличия визуального редактора. Отсутствует прозрачная интеграция с GA4. Так что до вопроса обсуждения стоимости мы не дошли.

Тройка победителей имела все необходимые мне функции и предполагала возможность триального доступа.

Visual Website Optimizer – индийский сервис c давней историей. Обладает достаточно удобной панелью управления и подробной документацией. Неплохо реагируют несколько линий поддержки. Пришлось повозиться с GA4-интеграцией, но ничего критичного. Установка через GTM не рекомендуется.

Для анализа можно использовать частотный, баесовский методы, различные типы метрик.Все вроде бы неплохо, кроме цены – исходя из моих ограничений я должен был платить $3750 в месяц, что выглядит несколько накладно для серии простых экспериментов.

Первый и единственный сервис, чье ценообразование не зависит от трафика. Существует фиксированный годовой платеж – $10к для одной учетки. Включены 10млн обращений к API в месяц. Дополнительные 10млн будут стоить $100. Для простоты можно считать, что 1 запрос равен одному сеансу. При этом существуют механики кеширования запросов, то есть где-то можно сэкономить.

Growthbook интегрируется с вашим проектом на Google Cloud и черпает статистику из проекта BigQuery, который в свою очередь должен быть связан с вашим GA4-ресурсом. Консистентность данных обеспечиваается отправкой дополнительного события в GA4 во время инициализации скрипта Growthbook с соответствующими параметрами.

Есть свой визуальный редактор, определенные тонкости для реализации на SPA, но в общем и целом приложение смотрится очень прилично – по соотношению цены и качества.

Из минусов – относительно высокий порог входа (не получиться опубликовать новую версию контейнера GTM и забыть) и дополнительные косты за BigQuery. В остальном Growthbook очень крут.

Google Optimize на стероидах. Простой, понятный и легкий. Возможна установка через GTM, удобная интеграция с GA4 – для каждого теста создаются свои аудитории. Привычно выглядит структура сегментов, событий и других сущностей. Можно использовать несколько статистических критериев и работать с превью вариантов.

Месячная стоимость для 1млн MAU – $1100 при годовом контракте. Есть вполне профессиональная поддержка – сотрудники могут и подсказать и скрипт подшаманить если надо.

Так что если вы ищете целостную замену Google Optimize за приемлемые деньги – обязательно обратите внимание на Convert.

Confidence от Spotify – свежий сервис в формате беты, пока еще не успел попробовать.

GTM Custom HTML Template. Если вас не смущает эффект мерцания и необходимость самостоятельной обработки и интерпретации выводов – можно разработать свой или доработать существующий шаблон тега для Google Tag Manager. Будет очень дешево (бесплатно) и возможно не очень сердито.

Русскоязычные сервисы - не рассматривал. При этом моим фаворитом остаётся Sigma от EXPF.

Это был набросок от моих, детальных и не очень, впечатлений от знакомств с сервисами A/B-экспериментов. С момента публикации могут произойти изменения в ценовой политике и функционале приложений – прошу за это прощения и всегда готов скорректировать материал.

Другие мои мысли на тему маркетинговой аналитики можно почитать в телеграм-канале «Модель атрибуции».

Вам мог понравиться этот пост – прошу в этом случае оставить лайк и поделиться им с друзьями – для меня это очень важно.