С моей точки зрения, чем больше менеджер продуктов владеет математикой, тем лучше. Математическое мышление дает массу преимуществ: оно позволяет оперировать абстракциями, делать выводы быстро и оперативно принимать решения — и все это с минимальным количеством когнитивных искажений, строго придерживаясь фактов. Менеджер продуктов с развитым математическим мышлением способен создавать множество новых стратегий, в меньшей степени зависит от инфраструктуры вокруг продукта (системные и бизнес-аналитики, наличие выделенных команд отчетности и т.д.) и становится более самодостаточным.
Большинству менеджеров продуктов, которые работают не в Google, не важна точность в конверсии до третьего знака после запятой. Они идут за десятками процентов изменений и кратным ростом. Поэтому им важно быстро принимать качественные решения. Для этого нужна базовая математическая насмотренность, понимание работы математических моделей, умение выявлять общие признаки, работать с абстракциями.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
На практике менеджерам продуктов больше всего пригодятся математическая статистика и теория вероятностей. На них основаны ежедневные продуктовые задачи: корректная настройка A/B-тестов, проверка выборок на соответствие статистическим критериям, расчет различных моделей юнит-экономики, оценка корректности предположений.
Какие основные концепции стоит изучить
1. Проверка статистических гипотез
Если говорить про «курс молодого бойца», то в первую очередь необходимо изучить проверку статистических гипотез. Без нее сложно понять, почему A/B-тест валидный или невалидный. Важно разобраться с ошибками первого рода, ошибками второго рода, статистическими критериями.
2. Распределение
Вторая важная тема — распределения, распределение случайной величины, какие основные виды распределений бывают, как можно из одного распределения перейти в другое.
Нередко тесты пытаются проводить на неподходящей выборке и с некорректными критериями оценки, это приводит к искажению результатов. В методах проверки статистических гипотез (первый пункт) говорится о том, как убедиться, что эксперимент будет поставлен и оценен верно. Для этого существуют статистические критерии — с их помощью мы можем понять, принимается или отвергается гипотеза. Например, критерий Стьюдента позволяет проверить гипотезу о равенстве математических ожиданий. По-простому — выяснить, значимо ли отличается среднее в двух выборках. А чтобы получать с помощью этого критерия корректные результаты, как раз важно понимать, на каких распределениях он работает, а на каких — нет.
Например, есть логнормальное распределение — оно возникает, когда сначала чего-то очень много, а потом очень мало. На банковских счетах или электронных кошельках, у большинства мало остатков и очень мало людей с большими остатками. И в такой ситуации проводить анализ непросто. А если взять логарифм от такого распределения, то мы получим распределение, близкое к нормальному — с ним можно работать, как с нормальным распределением, хотя интерпретация результатов будет сложнее. Такие трюки в некоторых моментах позволяют упростить жизнь.
3. Дополнительные разделы математической статистики
Помимо первых двух тем рекомендую разобраться, что такое средняя, медиана, перцентиль, как они работают. Потом попробуйте заглянуть в методы регрессионного анализа: корреляция, классификация, линейная зависимость, логарифмическая регрессия. На этом построены многие предсказательные методы.
4. Теория вероятностей
Из теории вероятностей надо взять основные формулы, уметь применять их, не путаться. Особенно это важно в гэмблинге, но также используется в финтехе и других отраслях. Достаточно пройти базовый курс по теории вероятностей — все необходимое для менеджера продуктов в таких курсах есть. Здесь не столько важна глубокая компетенция, сколько понимание на уровне концепции: что такое вероятность, как она работает. На практике вычислять что-то с помощью аппарата тервера почти не приходится.
5. Программирование
Параллельно с изучением теории и решением задач я рекомендую выучить язык программирования, который позволяет полноценно работать с данными — R или Python (мне больше по душе R, но это дело вкуса). Язык программирования — мощный инструмент, прекрасно дополняющий знание математической статистики. Еще поможет уверенность в написании SQL-запросов. Способность добыть данные самостоятельно трудно переоценить.
Математическое мышление и экономика
Илья Красинский с помощью математического мышления делает очень интересные вещи — например, считает юнит-экономику в закрытую, при этом не позиционирует себя как математика. «В закрытую» — то есть не обладая всеми исходными данными для расчетов (прибыль, средний чек и т.п.).
Благодаря таким верхнеуровневым моделям можно примерно понять, что происходит у конкурентов или клиентов, сколько примерно они зарабатывают — обычно такой точности достаточно для продуктовых задач. Например, при среднем чеке в три тысячи рублей можно ошибиться на тысячу вверх или вниз, но системный вывод в большинстве случаев не изменится.
Считая в закрытую, важно смотреть на нужные показатели — то есть понимать систему взаимозависимостей, оперировать распределениями, знать допуски. Если же менеджер продукта тратит на одну итерацию такого расчета две недели, хотя мог бы за пять минут посчитать все на неполных данных, просто понимая, на что надо обращать внимание, — это очень непродуктивно. Тот же Красинский брал конкретное мобильное приложение и прямо на лекции быстро прикидывал его экономику.
Еще один важный навык, о котором в контексте математики и менеджмента продуктов мало говорят — это финансовое моделирование. В идеале менеджер продуктов должен быть способен составить нормальную финансовую модель бизнеса — не юнит-экономику (хотя это тоже важная часть финансовой модели), а именно смоделировать, как, например, работает любой бизнес, от автосервиса до dating-приложения.
И не очень важно digital это или нет: логика финансовых потоков одна и та же. Если ты можешь смоделировать, работу автосервиса, финансовые потоки маркетплейса или прикинуть, какая структура расходов и доходов у какого-нибудь dating-приложения, ты можешь быстро понять, что происходит в бизнесе и как он работает. Соответственно — и сориентироваться в приоритетах
Тут я бы советовал читать книжки про business valuation (оценку бизнеса), разбирать модели, которые строят разные консультанты — в том числе и российские, изучать материалы сертификаций от ACCA, CPA, CFA. Правда, это довольно сложная тема.
Где и как изучать математику
Трудно однозначно сказать — это все равно, что спросить у программиста: «Посоветуй хорошую книгу по программированию». Их слишком много, да и много нюансов. На мой взгляд, отличная тактика — читать вузовские учебники. В них не всегда все просто, зато гораздо меньше интерпретаций и гораздо больше строгой логики и математики. Если получится разгрызть такие учебники, вы основательно поймете многие математические концепции.
Мне нравится курс по анализу данных от питерцев из Computer Science Center, еще я слышал хорошие отзывы про курсы на Stepik. Если же говорить именно о статистике и теории вероятностей — их очень умело и относительно просто преподают на Западе.
Отечественная школа начинает с азов, выстраивая доказательства от базовых аксиом — это, безусловно, правильный подход и на профильных западных программах все это тоже изучают. Но вместе с этим у них хороший стиль преподавания именно практической составляющей математики. Когда смотришь курс от Стэнфорда или MIT, ты не оперируешь слишком абстрактными понятиями и концепциями — они всегда дают простые сравнения, приводят примеры из жизни, чтобы студенты лучше усвоили и запомнили материал. Так что если уровень английского позволяет, очень полезно изучать такие материалы.
Универсальный способ изучить какую-то предметную область — погрузить себя в контекст: общаться в профильных телеграм-каналах, изучать кейсы, разбирать задачи, углублять под них теоретическую базу, пытаться применять на практике. Математическое мышление не сформируется, если просто читать книги и статьи — надо научиться решать задачи в рамках нового способа мышления. Причем решать, опираясь на данные, а не на интуицию: отслеживать свои когнитивные искажения, заглянуть в базу данных, посчитать статистику, посмотреть распределение и сделать из всего этого полезные для продукта выводы. Сначала они, скорее всего, будут неправильными, но со временем их качество вырастет. Это такой путь, на котором неизбежно придется совершать ошибки — но результат того стоит.
Дополнительные источники
- Математическая статистика. «Статистика для всех» Сары Бослаф, курс от Анатолия Карпова на stepik, основы статистики от Bioinformatics Institute на Stepik, курсы по статистике и анализу данных от Computer Science Center на Stepik.
- Теория вероятностей. Основы теории вероятностей от Computer Science Center на Stepik. Комбинаторика для начинающих от MIPT на Coursera. «Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами», «Введение в теорию вероятностей».
- A/B-тесты. Большой гайд от CLX (еще дадут White Paper на 44 страницы, если оставите почту), подкаст о математическом мышлении, статистике и A/B-тестировании с Виталием Черемисиновым, experiment fest.
- Python. Программирование на Python на Stepik. Книга «Изучаем Python» Марка Лутца.
- R. Анализ данных в R на Stepik. Книга «Статистический анализ и визуализация данных с помощью R».
- Электронные таблицы. Курс по Google Sheets на Coursera.
Иван ведет телеграм-канал fintech_samurai о менеджменте продуктов в финтехе.
