Конечно, мы стали волноваться, когда показатели вернулись на свои места: в наших масштабах, подобные улучшения выражаются в миллионах долларов дохода. Конечно, период падения показателей никак не угрожал нашему существованию (2014 был самым прибыльным среди всех годов, а 2015 теперь готов превзойти его показатели), но, естественно, ущерб был нанесен.

Где мы ошиблись и какие выводы тут можно сделать

Самый простой вывод здесь заключается в следующем: в данном контексте существования проекта Basecamp, мы понимаем, что больше всего платящих клиентов мы привлекаем тогда, когда процесс регистрации очень прост.

Скоро мы запускаем маркетинговый сайт для новой версии продукта Basecamp, и на домашней странице обязательно будет присутствовать форма регистрации, но это только поверхностные выводы из пережитого опыта.

Более важные уроки касаются процесса, и есть две основные вещи, которым мы должны здесь научиться:

1. Мы не знаем, что будет работать

Мы не делали A/B-тестирование этого изменения, и это означало, что потребуется много времени, прежде, чем мы заметим, что происходит. Если бы тогда в феврале 2014 года мы провели A/B-тестирование нового и старого маркетинговых сайтов, то скорее всего, мы бы осознали, что редизайн выполнен слабо, в течение пары недель.

При A/B-тестировании, множество факторов остается постоянными — применяются те же самые эффекты сезонности, вы можете во все вариации внести одинаковый набор источников, и так далее. Это позволяет вам прослеживать связь между тем, что вы меняете (дизайн, или более конкретно: количество шагов в процессе регистрации) и количеством регистраций.

Так как мы не тестировали редизайн, мы не могли делать продолжительные сравнения, чтобы увидеть, как новый маркетинговый сайт отличается от старого. Принимая во внимание сезонность и другие внешние эффекты (например, когда вы переименовываете свою компанию и снимаете с производства некоторые продукты), очень сложно определить, что именно из всего множества изменений влияет на конечное количество регистраций, так что у нас ушло какое-то время на то, чтобы определить, что именно происходит.

Легко принять решение не тестировать изменение — вы заняты, вы просто знаете, что так будет лучше, вы не хотите рисковать и запутаться, все возможно, когда вы проводите сплит-тест. В будущем нам будет легче оправдать трату средств и усилий на тестирование редизайна маркетингового сайта тщательнее — мы уже увидели, что произойдет, если этого не сделать.

И хотя мы вряд ли совершим ту же ошибку снова, хорошо было бы проанализировать, где еще мы можем допустить подобные ошибки, даже не осознавая этого. Есть ли в нашем продукте области, в которых мы делаем непроверенные предположения, которые могут значительно повлиять на компанию или на успех наших клиентов, пользующихся продуктом Basecamp? Можем ли мы измерить количественно собственные предположения?

2. Наше общение не было эффективным

Так как мы относительно небольшая компания, многие решения, например, где разместить форму регистрации пользователей, принимаются отдельными людьми или небольшими группами людей, без какого-либо обширного обсуждения.

В нашем случае, на подобном обсуждении мог бы возникнуть вопрос о риске, связанном с удалением формы регистрации пользователей с домашней страницы, а соответственно, тогда в 2014 году мы могли принять совсем другие решения.

Нам также не удалось принять немедленные меры, как только мы узнали о том, что происходит: около шести месяцев прошло прежде чем мы смогли разобраться в проблеме и принять меры для ее решения.

Наша компания очень сильно зависит от проекта: мы стараемся концентрироваться на ограниченном количестве вещей в определенный период времени, и очень активно работаем над выявленными задачами.

В период между редизайном и настоящим временем, мы коллективно работали над множеством различных проектов. Мы запустили The Distance, добавили множество новых функций в Basecamp, поработали над множеством проектов behind-the-scenes, а кроме того усиленно работали над следующей версией Basecamp, которая скоро выходит.

Мы также встретили дизайнера, который работал над множеством различных вещей, например, он сделал так, чтобы наш маркетинговый сайт работал на Android, и, наконец, мы узнали множество новых маркетинговых приемов в рекламе, при поиске спонсора и так далее.

Все это привело к тому, что мы не так много времени потратили на разработку маркетингового сайта, и это же отразилось на скорости тестирования и улучшения того, что мы обнаружили. Мы провели только 1/3 A/B-тестов в 2014 году, в сравнении с годом ранее.

Это всё объясняет, почему мы так медленно действовали: у нас не было разработанного проекта по маркетинговому сайту, мы почти не тратили времени на обдумывание и обсуждение.

Я работаю аналитиком, и мог бы сделать больше — я понимал, что нам следовало провести A/B-тестирование во время редизайна, и я знал, что нам нужно было вернуть регистрационную форму на сайт задолго до того, как мы начали проводить тестирование.

В обоих случаях, я либо не нашел возможности изложить свои доводы, либо делал это не настолько громко, чтобы изменить результат. Оглядываясь назад, я понимаю, что мне следовало сильнее стукнуть по столу.

Вынесенные нами уроки довольно болезненны и дорого нам обошлись, и нам повезло, что основа нашего бизнеса была достаточно крепкой, и что дело не дошло до кризиса. Пройдя через все это мы станем лучше как компания, и, надеюсь, что мы больше не допустим подобных ошибок.