Как проводить A/B тесты, если ожидаемый результат не статзначим. Увеличиваем чувствительность метрик с помощью математики (Виталий Черемисинов)

Виталий Черемисинов, Co-founder, EXPF

Сегодня мы поговорим не столько про проверку гипотезы, сколько про то, чем мы пытаемся проверять гипотезу. Это метрики. Поговорим про их свойства, особенности. Я сооснователь компании EXPF, мы занимаемся консалтинговой и образовательной деятельностью, и целевая история для нас — это именно эксперименты, автоматизация процессов и разработка метрик через проверку их свойств, качеств, и так далее.

Сегодня мы будем говорить про оценку характеристики метрики. Что нашу метрику характеризует с точки зрения базовой статистики? Мы поговорим о том, что такое чувствительность как понятие метрики, и зачем она нужна. И как, и зачем управлять чувствительностью — так же исходя из того, зачем она нужна. Давайте попробуем для начала погрузиться в некий контекст, и внутри него мы будем вести весь диалог внутри этого доклада. У нас есть два персонажа, которые будут сопровождать нас в течение всего доклада. Это аналитик Леня вместе с продактом Петей.