Как статистика помогает в разработке продуктов и принятии бизнес-решений и как понять, с какой вероятностью вы заработаете или потеряете деньги, рассказала Анастасия Блаженова, Chief Operating Officer в RichPeach Media, ex-менеджер продукта ManyChat, ex-менеджер продукта и аналитик Acronis.
Обычно люди считают, что статистика — это такая абстрактная штука для математиков, сложная и непонятная. Я сама закончила физтех, где много статистики, но даже не знала, как она может мне помочь, поэтому в работе обходилась без неё. И это продолжалось, пока я не столкнулась с ситуацией, где моих знаний уже не хватало.
Мы запустили очень дорогую промоакцию, и очень важно было понять — она приносит деньги прямо сейчас или нет? Продажи росли и до ее старта, а взрывного роста не наблюдалось. Именно тогда я и обратилась к статистике.
В каких вопросах помогает статистика
Чем больше я читала про статистику, тем больше понимала, что она может помочь с целым рядом продуктовых вопросов. Вот несколько основных.
- Анализ лендинга.
- Анализ релиза.
- Прогноз продаж.
- Выяснение причины внезапного падения или роста NPS.
- Анализ методик продаж.
- Оценка рисков.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Всегда думайте о погрешности
Главное, что вам надо запомнить из этой статьи — при анализе графиков всегда думайте о погрешности. Допустим, у вас есть новая фича, и вы хотите понять, сколько людей про неё вообще знает. Вы получили ответ — 33%. Но истинное значение осведомленности ваших пользователей зависит от количества людей, принявших участие в опросе. Например, от 32% до 34% или от 8% до 58%. А это большой разброс.
И даже если вы не принимаете решение прямо сейчас, вы всё равно должны знать, какой этот разброс на самом деле. Именно поэтому я советую работать только с графиками с погрешностью.
Иногда перед менеджеру надо сравнить два состояния — например, старую и новую систему онбординга. Допустим, в старой системе конверсия в активных пользователей составляла 25%, а в новом — 30%. Раньше вы бы просто обрадовались этому результату и занялись другими задачами. Но теперь вы знаете, что таким графикам доверять нельзя. Поэтому вы рисуете погрешность для каждого из столбцов и понимаете, что теперь на первый взгляд уже не оценить, какой из них действительно выше.
Хорошая новость в том, что вам не нужно определять это на глаз, потому что существуют статистические тесты — такие, как t-тест и ANOVA. Они показывают, с какой верятностью правый столбец выше левого столбца. То есть вероятность того, что новая система онбординга лучше старой.
Пример из жизни. Когда я работала в Acronis, в одном из продуктов была функция, которой мало кто пользовался. Мы предположили, что она просто слишком современная, наши пользователи — старомодны и консервативны. В таком случае решить проблему можно было бы сменой упаковки, обучением пользователей или привлечением более современных клиентов.
Однако, посмотрев на данные со статистикой, мы выяснили, что ни новым, ни старым клиентам функция не нравится, а проблема кроется в чём-то другом. Статистика не всегда может сказать, в чём проблема вашего продукта, но она может уберечь вас от лишних трат денег и времени.
Линейная регрессия и финансовый прогноз
Бывает, что в процессе работы необходимо понять, сколько денег или пользователей у вас будет через полгода. Например, чтобы закупить оборудование, посчитать зарплаты, нанять людей и так далее. И когда вы видите постоянно растущий график продаж, то сразу хочется просто провести прямую и посмотреть, где она окажется через 6 месяцев. Но её можно провести по-разному и, соответственно, получить разные результаты.
Чтобы решить эту задачу, надо воспользоваться специальным тестом, который называется «Линейная регрессия». На выходе вы получите уравнение для подсчёта продаж через полгода и сможете узнать, сколько денег или пользователей у вас будет.
Линейная регрессия поможет справиться и с более сложными ситуациями — когда график продаж не линеен. Например, зимой покупают больше, чем летом, но также продажи растут относительно прошлых сезонов. По такому графику тяжело оценить что-то с первого взгляда — необходимо использовать тест.
Но вернемся к моей промоакции. Мы разбили продажи на 2 периода — до и после старта промоакции. Для каждого периода построили уравнение с помощью линейной регрессии. Статистика показала, что продаж увеличились бы и без акции, так что мы ее свернули.
Статистика в финансовых моделях
Оказывается, многие менеджеры продукта не до конца понимают, в чём суть финансовой модели и зачем её вообще нужно использовать. Чтобы разобраться в этом, рассмотрим финмодели подробнее.
Прежде всего, необходимо развеять главное заблуждение — мы не пытаемся угадать какую-ту цифру в отчётности через год, мы пытаемся критическим взглядом оценить риски и проверить обоснованность предположений относительно продукта. Для такой оценки необходимо понимание продукта и грамотное построение финансовой модели.
В процессе построения финмодели вы должны пройти несколько этапов.
Этап 1. Убедитесь в том, что вы включили все необходимые предположения. Здесь вы себя спрашиваете — важно ли предположение и стоит ли его включать в финмодель?
Этап 2. Убедитесь в том, что вы знаете всё о своём продукте. Здесь надо найти ответы на несколько вопросов
- Почему вы написали, что будет такое количество пользователей, почему не больше и не меньше, откуда эти пользователи будут браться каждый месяц?
- Какие вообще бывают виды пользователей, как они друг с другом взаимодействуют и что вы вообще про это всё знаете.
Этап 3. Переходите к деньгам, которые заработаете. В финмодели главное не то, сколько вы заработаете, а от, от чего зависит ответ на вопрос, сколько вы заработаете. На прибыль может влиять целый ряд факторов, но каждый из них влияет на продажи по-своему.
Поэтому на третьем этапе вы пытаетесь выяснить, что больше всего влияет на прибыль. То есть ищете показатели, которые при небольшом изменении очень сильно поднимут или уронят прибыль. Часто они бывают неочевидными.
Вообще, когда вы строите финмодели, делайте хотя бы три сценария развития событий.
- Плохой сценарий, когда будет мало пользователей, мало денег и большие траты.
- Классный сценарий, когда будет много пользователей, много денег и мало трат.
- Нормальный сценарий, когда все эти показатели находятся посередине.
В каждом варианте надо считать, сколько денег вы заработаете, и исходя из результата решить, стоит ли ваш проект внимания, нужно ли над ним ещё подумать или вообще не надо его делать.
Но у этого подхода есть проблемы. Если вы знаете, что можете заработать $100 тыс. и потерять $50 тыс., то это как будто бы неплохо. Но если вам скажут, что вы с вероятностью 1% заработаете деньги и с вероятностью 99% их потеряете, то ваше решение наверняка будет другим. И проблема как раз в том, что вы этих вероятностей не знаете.
Оцениваем финансовые риски методом Монте-Карло
С помощью метода Монте-Карло можно оценить, с какой вероятность вы потеряете или заработаете деньги. Вот как он работает.
Каждое предположение, например, о количестве пользователей или конверсии — это какой-то диапазон значений. Поэтому в Oracle Crystal Ball надо заменить все точечные предположения на диапазоны. Программа автоматически прогоняет финансовую модель, например, 10 тысяч раз. И при каждом запуске модели случайным образом подставляет значения из диапазона. После этого она строит 10 тысяч вариантов развития событий. И для считает, сколько денег вы заработаете в каждом из вариантов.
На основе этих данных можно посчитать, с какой вероятностью вы что-то заработаете. Для этого разделите количество вариантов с прибылью на количество циклов.
Еще один пример из жизни. В Acronis мы запускали продукт со стратегическим прайсингом, и прикинули, что вроде бы не должны уйти в минус. Но вероятность всё равно оставалась. Тогда я применила метод Монте-Карло и выяснила, что эта вероятность составляет 30%. Но мы не перестали делать продукт, просто немного подкрутили прайсинг по цифрам, чтобы снизить эту вероятность.
Но самое классное — мы обнаружили неочевидный параметр, который сильно влиял на вероятность потери денег, и стали вниматеьлно за ним следить и регулировать.
Меры предосторожности в статистике
Иногда лучше вообще не иметь никакого ответа, чем получить неправильный ответ, поверить в него и действовать в соответствии с ним. Статистические тесты — это инструменты. Если использовать их на некорректных данных, вы получите неправильный ответ. В итоге начинаете в него верить, теряете бдительность и совершаете ошибки. Но даже если вы примените корректные данные, но не сможете правильно интерпретировать результаты теста, то снова совершите ту же ошибку.
Статистика — не единственный источник информации и не волшебная палочка. Кроме нее есть ваша голова, знание рынка, понимание продукта. Но статистика действительно помогает улучшить методы принятия решений, учитывать больше факторов и быть чуть более хорошим менеджером продукта.
Выводы
- Никогда не доверяйте графикам без погрешностей.
- Для сравнений групп показателей используйте такие статистические тесты как t-тест и ANOVA.
- Для прогноза продаж используйте метод линейной регрессии.
- При построении финмоделей всегда прорабатывайте три сценария развития событий.
- Рассчитывайте вероятности рисков методом Монте-Карло.
- Иногда лучше не иметь никакого ответа, чем иметь неправильный.
- Статистика — не единственный источник информации.
P.S. Каждую неделю Анастасия делится классными материалами по продакт менеджменту в своем фейсбук-боте.
