Что такое хорошая методология экспериментов и зачем она нужна (Виталий Черемисинов, Experiment-Fest)

Принятие решений на основе экспериментов и данных давно стало стандартом в менеджменте продуктов. Однако, сам факт проведения эксперимента не защищает вас от ошибки. Если эксперимент спроектирован неправильно, опираться на его результаты нельзя. В рамках мастер-класса обсуждаем: какие типовые ошибки есть в процессе анализа экспериментов, как эти ошибки искать и на что они влияют.

Материалы и книги, которые позволят лучше разобраться в статистике и A/B-тестах

Презентация с материалами мастер-класса

Подборка материалов для погружения в эксперименты

Материалы и книги, которые позволят лучше разобраться в статистике и A/B-тестах.

Книги

1. Сара Бослаф: Статистика для всех.

Прекрасно подойдет для ознакомления с основами математической статистики. Очень много простых примеров и «бытовой» слог. Если вы еще не погружались в основы математической статистики, но очень хотите — книга точно для вас.

→ В Читай-город

→ В Laribint.ru

2. Ron Kohavi: Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing.

Рон отвечал в Microsoft за платформу a/b тестов и написал с командой огромное количество полезных материалов, которые помогают аналитикам со всего мира делать свои эксперименты круче и точнее. За одну только популяризацию CUPED ему можно сказать отдельное спасибо.

На Amazon.com

3. Михаил Лагутин: Наглядная математическая статистика.

В книге подробно расписана теория математической статистики и приведены практические примеры. Книга точно не подойдет человеку, который только решил в нее погрузиться. Но если уже есть уверенная база — точно будет полезно.

На Ozon.ru

Блоги и статьи

1. Блог от команды Рона Кохави по экспериментам Microsoft.

2. Блог компании NEFLIX. В блоге много статей про технологии, которые компания использует в своей работе. Самый любимый цикл статей — про платформу экспериментов NEFLIX.

3. Блог Airbnb Engineering & Data Science. И статья о том, как Airbnb организовывает свою базу знаний по data science и разработке.

4. Блог Uber Engineering. Статья о том, как UBER подходит к A/B-тестам.

5. Блог EXPF. Много материалов по математической статистике,A/B-тестам и методам для проведения экспериментов.

Лекции

«Как искать и прорабатывать метрики для продукта». Лекция Виталия Черемисинова из главы ProductSense Stories Гипотезы. Прошла 5 августа 2020.

«АБ-тесты для взрослых: без калькуляторов и смс». Провели Владимир Баяндин, Sbermarket и Шагане Мирзоян, Skyeng, 5 августа 2020.