A/B-тесты — один из самых точных инструментов продуктовой аналитики. Они позволяют сравнивать две версии веб-страницы, скрипта или экрана приложения и с высокой доле достоверности определять, какая из них лучше помогает достичь нужных целей — например, увеличить конверсию или retention. При этом A/B-тесты — еще и один из самых сложных и интересных инструментов аналитики, который далеко не все мумеют применять правильно.
В этом микрокурсе мы разберем, как определить, нужно ли вообще проводить A/B-тест, как выглядит процесс проведения эксперимента в идеальном мире и какие ошибки чаще всего совершают продуктовые команды при проектировании и интерпретации результатов A/B-теста. В тексте микрокурса вы встретите блоки с упражнениями: выполнять их не обязательно, но желательно — они помогут лучше запомнить информацию.
В этом модуле вы узнаете, где применяются сплит-тесты и каковы границы их применимости, когда целесообразно тестировать гипотезы с помощью А/В-тестов, как валидировать гипотезы и выбирать самые сильные с помощью матмоделирования.
За надежность A/B-тестов приходится дорого платить: трафиком, затратами на разработку и драгоценным временем. Перед тем, как выбрать для проверки гипотезы этот инструмент, проверьте следующие моменты:
- В вашем продукте уже достаточно пользователей, чтобы результаты наблюдения стали статзначимыми и подходили для принятия решений. Этот пункт расстраивает многих менеджеров продуктов из B2B-сегмента и тех ребят, чьи продукты запустились совсем недавно — да, им больше подойдут качественные исследования, но и они узнают много полезного в этом модуле: Как рассчитать, на каких объемах целесообразно использовать A/B-тестирование, расскажем ниже.
- Ваше изменение способно оказать достаточно сильный эффект на ключевые метрики. Чем слабее фича влияет на поведение пользователей, тем больше данных нам нужно, чтобы это влияние доказать. Несколько раз задумайтесь, прежде чем тестировать минорные изменения в пользовательском опыте с помощью A/B-тестов: есть риск сжечь много времени и трафика для подтверждения гипотезы, эффект от которой может не окупить всех затрат. Быстро тестировать разные цвета кнопок и шрифты заголовков ради роста конверсии на тысячные доли процентных пунктов могут себе позволить только топовые по посещаемости продукты. Помните об альтернативных издержках: пока вы тратите время на проверку слабой гипотезы, в вашем бэклоге могут грустить другие фичи, которые могли бы принести в разы больше денег.
Итак, A/B-тесты — это долго и дорого, а тестировать нужно только самые сильные гипотезы. Но как же их определить? С этим нам поможет математическое моделирование:
- Выведите формулу прибыли на основе юнит-экономики вашего продукта.
- Сформулируйте гипотезу и определите метрики, которые вы планируете вырастить своим изменением в продукте и которые могут «просесть».
- Спрогнозируйте возможный рост метрик, в которые вы целитесь, и оцените риски по просадке показателей, на которые вы можете косвенно повлиять.
- Подставьте прогнозные значения метрик в формулу прибыли и рассчитайте, насколько вырастет прибыль продукта благодаря вашей фиче.
- Соотнесите дополнительную прибыль с затратами на разработку фичи и A/B-тестирование. Примите решение, стоит ли запускать эксперимент.
Разберем каждый пункт на примере одной онлайн-школы — все метрики вымышлены, любые совпадения случайны:
Шаг 1. Формула прибыли онлайн-школы в очень упрощенном виде выглядит так:
Profit = N × ( LTV − CAC − TAC)
- N — количество учеников.
- CAC — стоимость привлечения ученика.
- TAC — стоимость привлечения учителя в расчете на одного ученика.
LTV = LT × (Price – Op. Cost – Teacher Salary)
- Price — средняя стоимость урока.
- LT — среднее количество уроков за все время обучения ученика.
- Op. Cost — операционные издержки на проведение одного урока.
- Teacher Salary — оплата учителю за урок.
Шаг 2. Формулируем гипотезу и определяем ключевые метрики. Если на витрине оплаты изменить порядок пакетов уроков от большого пакета из 100 уроков к маленькому пакету из 4 уроков, то пользователи чаще будут покупать большие пакеты. Как следствие, вырастет средний Lifetime.
Шаг 3. Целимся в рост Lifetime (количества уроков) на 15 уроков. Гипотетически можем просадить C1 (конверсию в оплату) на 0.2 пп и стоимость одного урока на 30 руб., потому что чем больше пакет, тем дешевле в нем 1 урок.
Шаг 4. Собираем простейшую математическую модель в табличке.
Шаг 5. Принимаем решение — запускать эксперимент.
Упражнение. Создайте себе копию калькулятора и рассчитайте возможную прибыль от внедрения нового дизайна платежной витрины, которая повышает конверсию в оплату на 1 пп, но может просадить среднее количество уроков ученика на 10%. Стоит ли запускать такой эксперимент?
Это видео с разбором практического задания — пожалуйста, сначала попробуйте выполнить его самостоятельно.
Рекомендуем запретить на законодательном уровне A/B-тесты фич в вашем продукте без математического моделирования. Вы удивитесь, как много идей не могли бы окупиться даже при самом благоприятном стечении обстоятельств и были обречены на провал уже на этапе экономического обоснования. Оно и к лучшему — выживут только сильнейшие гипотезы!
В следующийх модулях вы узнаете, как правильно спроектировать A/B-тест, проверить систему сплит-тестирования, проанализировать результаты и принять решения в продукте. Второй модуль микрокурса — «Как спроектировать A/B-тест».