В этом модуле вы узнаете, какие дополнительные материалы изучить, чтобы глубже прокачаться в теме, и сможете потренироваться на практических заданиях.
Дополнительные материалы
- Как не надо анализировать A/B-тесты. Проблема подглядывания
- A/B-тесты в операционных процессах Skyeng
- Что будет, если использовать параметрический критерий на ненормально распределенной выборке
- Множественные эксперименты: теория и практика
- Как оценить, сколько можно заработать на фиче
- Непараметрические методы для A/B-тестов. Считаем деньги
- DIY. Гайд по методам продуктовых исследований: качественные, количественные, UX-исследования
- Подкаст make sense о математическом мышлении, статистике и A/B-тестировании с Виталием Черемисиновым
- Как подготовиться к А/В-тестированию
- Как проводить A/B-тесты на операционке, когда на результаты влияет человеческий фактор?
- A/B testing: 10 common mistakes we all make
- Ошибки в дизайне A/B тестов, которые я думала, что никогда не совершу
- A/B-тесты в Яндекс.Браузере. Большой продукт – большая ответственность
- Кейс: как определять качество системы A/B-тестирования
Задания для самостоятельной работы
Задание 1. По аналогии с примером из раздела «Когда применять A/B-тесты» составьте математическую модель для оценки новых фич в продукте, который вы развиваете. Выберете одну гипотезу из бэклога вашего продукта и смоделируйте профит, который будет получен после успешной раскатки. Формат результата: таблица в Google Sheets (открыть доступ по ссылке) с математической моделью, заполненными константами и рассчитанным профитом одной фичи.
Задание 2. Проанализируйте выданные вам данные с результатами A/B-теста и примите решение по итогам эксперимента:
- Перейдите в документ Google Colab
- Создайте копию блокнота на диске.
- Переименуйте созданный файл по этому алгоритму: «Фамилия Имя – Product Mindset – final task – var Х.ipynb»
Формат результата: блокнот Google Colab с аргументацией принятого решения и кодом для анализа предоставленного дата-сета.