Как проводить A/B тесты, если ожидаемый результат не статзначим. Увеличиваем чувствительность метрик с помощью математики (Виталий Черемисинов)

by engulatovapublished on 27.04.2021
ProductSense Academy — Микрокурсы и кейсы с конференций по подписке

Виталий Черемисинов, Co-founder, EXPF

Сегодня мы поговорим не столько про проверку гипотезы, сколько про то, чем мы пытаемся проверять гипотезу. Это метрики. Поговорим про их свойства, особенности. Я сооснователь компании EXPF, мы занимаемся консалтинговой и образовательной деятельностью, и целевая история для нас — это именно эксперименты, автоматизация процессов и разработка метрик через проверку их свойств, качеств, и так далее.

Сегодня мы будем говорить про оценку характеристики метрики. Что нашу метрику характеризует с точки зрения базовой статистики? Мы поговорим о том, что такое чувствительность как понятие метрики, и зачем она нужна. И как, и зачем управлять чувствительностью — так же исходя из того, зачем она нужна. Давайте попробуем для начала погрузиться в некий контекст, и внутри него мы будем вести весь диалог внутри этого доклада. У нас есть два персонажа, которые будут сопровождать нас в течение всего доклада. Это аналитик Леня вместе с продактом Петей.

Смотреть дальше

Татьяна Матайс, Руководитель группы по клиентским исследованиям, ЦУМ
Андрей Михайлюк, VP Product, Flo
Никита Юрьев, Директор по развитию, ADV Launchpad
Елена Серёгина, Founder, DataLatte
Ольга Ерёмина, Head of Trends, UXSSR
Арсений Ольховский, Head of Growth, LegionFarm
Будьте первым, кто прокомментирует “Как проводить A/B тесты, если ожидаемый результат не статзначим. Увеличиваем чувствительность метрик с помощью математики (Виталий Черемисинов)”

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Пока нет комментариев