История А/Б тестов для продактов от продакта 🫢

Все продакты так или иначе запускают A/B тесты, но задумывались ли вы о том, откуда это все пошло? Если вы думаете, что это все идет из математической статистики, то этот пост для вас.

Путь этого метода начинается в медицине, задолго до появления термина «A/B». Первое задокументированное исследование провёл шотландский врач Джеймс Линд в 1747 году на корабле HMS Salisbury. Он лечил цингу у моряков, разделив 12 человек на шесть пар с разными методами лечения. Только те, кто получал цитрусовые, выздоровели за шесть дней. Хотя группы не были случайными, эксперимент стал предшественником современных рандомизированных клинических исследований.

В 1846 году венгерский врач Игнац Земмельвейс заметил, что в отделении, где рожениц принимали врачи, смертность от родильной горячки была значительно выше, чем у акушерок. Он предположил, что врачи заносят инфекцию после вскрытий. В 1847 году он ввёл мытьё рук хлорным раствором — и смертность снизилась с 18% до 1–2%. Земмельвейс сравнил данные до и после вмешательства, что и стало прообразом A/B тестов и метода разницы в разностях.

Переворот в области экспериментального дизайна

В 1920-х, исследуя урожайность на станции Rothamsted, Рональд Фишер сформулировал три ключевых принципа:

— рандомизация (исключает "шум")

— репликация (отделяет случайные колебания от эффекта)

— блокирование (учёт внешних факторов, как тип почвы).

Эти идеи, изложенные в его работах 1926 и 1935 годов, легли в основу современных клинических исследований и A/B тестов.

Идея сравнения вариантов пришла в маркетинг в конце XIX века. Уже в 1870-х Montgomery Ward тестировал отклик на разные письма, а позже агентства вроде Lord & Thomas систематизировали подход: отправляли две версии каталога (A и B) разным группам и сравнивали продажи. Хотя распределение не всегда было случайным, это стало прообразом A/B тестов в бизнесе — выбор стал опираться на данные, а не интуицию.

📬 Интересно, что спустя столетие похожий подход использовал Т-банк: на старте он доставлял кредитные карты почтой и активно тестировал разные офферы, тексты и обложки писем, чтобы повысить отклик. Это было A/B тестированием — только в офлайне.

С появлением интернета A/B тесты вышли в бизнес. В 2009 году Google протестировал 41 оттенок синего для ссылок — незначительное изменение, которое, по их оценке, принесло миллионы. Хотя чистота эксперимента вызывала вопросы из-за различий в экранах, кейс показал: A/B тестирование ушло далеко от медицины и стало инструментом цифровых продуктов.

A/B тесты — основа маркетинга и IT. Проверяют всё: от заголовков до алгоритмов. Технологии автоматизируют процесс, но часто итоги всё равно подводят вручную. Но не стоит забывать, что за тестами перекраски кнопки стоит медицина и математематическая статистика.

Подписывайтесь на мой телеграм канал: @travelasproduct