Аналитик и основатель бюро Datalatte Елена Серёгина рассказала о том, что такое Метрика Всевластия, почему все в нее верят, когда она помогает сделать прорыв в развитии продукта и как ее найти.
Оглавление
- Что такое Метрика Всевластия
- Зачем нужна Метрика Всевластия
- Когда божественные метрики приводят к провалам
- Что такое хорошая продуктовая метрика
- Кейс про выход на новый рынок
- Кейс про прибыль без монетизации
- Выводы
Что такое Метрика Всевластия
Когда менеджеры продуктов узнают, что я аналитик, они просят подсказать самую лучшую продуктовую метрику. После этого начинается разговор о retention, ROI, NPS. В B2C-продуктах с длинными воронками, где в среднем пользователи совершают первую покупку, например, через два месяца после регистрации, менеджеры продуктов мечтают об опережающих показателях. Они хотят уже в момент регистрации предсказывать потенциальный LTV или хотя бы его динамику. В B2B чаще хотят найти продающие метрики, которые покажут, что компания отлично растет и на общем фоне, и относительно своих прошлых показателей.
Каждый менеджер продуктов мечтает об абсолютной продуктовой метрике — именно такую метрику я и называю Метрикой Всевластия. Аналитики не отстают и тоже пытаются искать метрику, которая поможет максимально эффективно развивать продукт. Я и сама с первого дня работы аналитиком все время искала Метрику Всевластия.
В статьях по аналитике и менеджменту продуктов регулярно мелькает идея, что такая метрика существует и желательно смотреть на одну хорошую и правильную метрику («One metric that matters»). И мы часто неправильно понимаем эту идею. Например, многие читатели книги «Lean Analytics» начинают активно искать единственную хорошую метрику. Им кажется, что есть одна единственная правильная величина, исключающая другие — хотя в книге, многие тезисы которой, как мне кажется, устарели, нет призыва искать одну единственную метрику. Но зато есть призыв к фокусу, причем фокусу на уровне глубины понимания продукта и данных, до которого доходят единицы.
Многие из нас слышали одну и ту же историю: «Жил-был в одной компании классный парень. Он был настоящий data-driven guy, смотрел на данные — одну очень хорошую, правильную метрику. С ней он и пришел к успеху».
Почему так популярна идея одной метрики? Ответ простой — одна метрика гораздо интуитивнее. В быту мы редко пользуемся большим количеством измерений. Возьмем, к примеру, время. Есть понятные приборы для измерения времени, и они помогают управлять сложными процессами в рамках всего одной метрики.
Я достаточно много занималась консалтингом, успела повидать много дашбордов — и был один, самый ужасный из всех, которые я видела. Это был набор ссылок из 20 пунктов, каждая из которых вела на какой-то другой дашборд еще с тридцатью метриками. Страшно даже представить рабочий день менеджера продуктов в этой компании: он приходит и одну за другой открывает ссылки, изучает каждую метрику. Это грустно.
Считается, что аналитики любят строить такие дашборды: с классной, сложной и информативной визуализацией. На самом деле — нет. Даже аналитики хотят создать простой индикатор, который бы показывал здоровье продукта: лучше, хуже, без изменений. Кстати, в одной компании я видела такой дашборд, он назывался «Что происходит» и его активно использовали. Хотя если копнуть глубже, то нам даже не нужно знать, что происходит — нам нужна одна простая кнопка «Сделать лучше». Именно этого мы ждем от Метрики Всевластия.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Зачем нужна Метрика Всевластия
Компании, которые делают продукты с большой аудиторией, не могут просто так взять и зарелизить что-то в продакшен — сначала они проводят эксперимент. Это называется «приемка релизов»: с помощью нее проверяют, не ухудшат ли изменения тренд роста. При этом смотрят на огромное количество параметров. Обычно одна метрика растет, другая — падает, и чтобы управлять ими, нужна иерархия метрик. Конечно, было бы намного проще использовать всего одну метрику, которая показывала бы, выпускать продукт в продакшен или нет.
Какие проблемы решает Метрика Всевластия:
- Приемка релизов: куда смотреть?
- A/B-тесты: а мы точно измеряем то, что нужно?
- Бизнес-дашборды: куда смотреть?
- Инсайты и WOW-аналитика: где искать?
Обычно команда улучшает продукт в одном из трех направлений:
- дизайн интерфейса;
- экономические показатели;
- пользовательский опыт.
Для каждого направления существуют свои основные метрики. Например, в дизайне самым лучшим показателем будет CTR, в экономике — ROI, LTV, revenue (выручка), в пользовательском опыте — retention (возвращаемость клиентов), LTV и иногда NPS (Net Promoter Score, индекс лояльность потребителей). Есть даже списки популярных метрик, на которые обычно молятся в компаниях и считают по ним KPI для всех команд.
Мой личный список божественных метрик
- ROI
- Revenue
- Конверсия в оплату
- Retention
- LTV
- Churn Rate (отток клиентов)
- Доля рынка
- Трафик
- NPS
Когда божественные метрики приводят к провалам
У хороших метрик, которые возводят в ранг божественных и начинают молиться на них, есть и обратная сторона.
Во-первых, нередко происходят ошибки второго рода, когда мы отвергаем правильную гипотезу. И божественные метрики — основные виновники подобных провалов. Иногда команда отказывается от новой фичи, которая может стать драйвером кратного роста продукта и даже рынка. А всё потому, что эта крутая фича роняет божественную метрику. Но поскольку идеи обычно витают в воздухе, такую же фичу делает конкурент. И именно конкурент, а не вы, меняет продукт и рынок. Команда с божественной метрикой проигрывает.
Во-вторых, единственная метрика подобна сбитому фокусу. Метрика — это измерение изменений в продукте. Если фокусироваться на одной метрике, можно потерять связь с реальностью. И тогда часто вместо реальных изменений в продукте команда многозначительно рассуждает об условном Retention.
В-третьих, божественные метрики обычно приходят извне — например, от прямых или косвенных конкурентов. Эти метрики не про ваш продукт. Часто команда даже не вникает, как именно считают божественную метрику её авторы, какие выводы делают и что получают в итоге. Если бездумно смотреть на показатели, можно пропустить множество багов и потерять клиентов на самых очевидных ошибках.
Что такое хорошая продуктовая метрика
Чтобы найти хорошую продуктовую метрику, нужно выполнить несколько шагов.
- Посмотрите на метрику, как на продукт — определите, какую проблему этот показатель решает. Дайте максимально простой ответ.
- Теперь подумайте, как измерить решение этой проблемы. Снова дайте максимально простой ответ.
- Это и будет ваша хорошая метрика.
Например, поисковая выдача Google находит ответы на вопросы пользователей. Но пользователи не всегда четко формулируют запросы. Допустим, я написала слово «аналитика», но что конкретно я имела в виду, Google не знает и предполагает, что мне подойдет какая-то из выданных ссылок. Поэтому на странице выдачи появляется 10 ссылок, которые с некоторой вероятностью отвечают на мой вопрос. Получается, что проблема «у меня есть вопрос» решается продуктовым образом.
Чтобы измерить решение этой проблемы обычно используют CTR. Но этот показатель не всегда работает. Например, если мне нужно узнать, сколько времени или какая погода за окном, CTR будет нулевой, потому что ответ появится на странице выдачи, и кликать будет не нужно.
Получается, что Google набрасывает мне ссылки, которые с некоторой вероятностью ответят на мой вопрос. Значит метрика, которая измеряет решение этой проблемы — вероятность найти ответ на странице. Кстати, эту метрику на самом деле считают — все поисковики используют ее для качества ранжирования.
Второй пример — про Medium, платформу для социальной журналистики. Этот продукт создан для двух категорий пользователей: первые любят писать, вторые — читать. Перед теми, кто любит читать, стоит проблема выбора. Medium обещает интересный и качественный контент. Но как проверить, что сервис действительно решает проблему читателя? Нужна хорошая метрика.
Время, проведенное на странице, не подходит, потому что есть короткие и длинные статьи, а из-за этого показателя можно перепутать неинтересную длинную статью с интересной короткой.
Другой показатель — отношение предложенных новостей к прочитанным. Но он больше характеризует качество рекомендательной системы, а не всего продукта в целом. Потому что продуктовое взаимодействие пользователя начинается, когда он читает статью.
Метрика качества Medium — это доля прочитанных статей. Если статья прочитана до конца, значит она была интересной. Чтобы определить, прочитана статья или нет, Medium учитывает среднюю скорость чтения, время, проведенное на странице и скорость скроллинга.
Приведем примеры метрик, которые помогали нам находить инсайты в продукте и правильно выстраивать стратегию:
- время активации — период между тем, как пользователь зарегистрировался и впервые что-то купил;
- время возврата — период между первой и второй покупкой и так далее;
- тайм-аут между сессиями — метрика, которая помогает понять реальные интервалы между покупками;
- продолжительность сессий — время в продукте. Банальная метрика, про которую часто забывают;
- интервалы между сессиями.
Давайте разберем несколько кейсов, в которых мы на основе аналитики и исследования бизнеса компаний разрабатывали Метрики Всевластия для конкретных продуктов, что помогло улучшать их и совершить прорывы.
Кейс про выход на новый рынок
В первом кейсе речь идет о некогда популярном мессенджере, который со временем был забыт. Одна компания решила его перекупить и реанимировать с помощью выхода на рынки новых стран. Перед аналитиками поставили задачу выбрать подходящую страну, потому что выйти сразу на несколько рынков не позволял бюджет.
Мы рассмотрели 29 потенциальных стран и собрали разные данные:
- Узнали CPI (cost per install) по каждой конкретной стране — стоимость одной установки.
- Выяснили факторы оттока.
- Оценили факторы, которые влияют на виральность приложения.
Под виральностью в этом кейсе я подразумеваю вот что: если пользователю нравится мессенджер, он пригласит в него друзей и родственников. То есть новые пользователи придут в продукт, а платить за них не придется.
На отток влияет состояние рынка в целом: если 70–80% пользователей уже сидят в определенном мессенджере, наивно полагать, что все эти люди легко придут к нам. Поэтому мы учитывали сегментацию и монополизацию рынка.
После анализа открытых данных мы построили матрицу принятия решений и выяснили, что оптимальный вариант по объему рынка и эффективному CPI — это Бразилия. Мессенджер вышел на бразильский рынок, и там действительно случился бурный рост. Этому кейсу уже 4–5 лет.
Принять правильное решение помогла метрика «эффективный CPI». По сути, это некоторая оценка, аппроксимация. Мы не знали, какой в точности будет цена привлеченного пользователя, но мы могли это оценить и попробовать предсказать. Такая оценка представляет собой отношение двух коэффициентов: фактора оттока и фактора виральности. Фактор оттока увеличивает цену лида, а фактор виральности — уменьшает. Поэтому первый стоит в числителе, а второй — в знаменателе.
Немного поясню, по какой формуле мы считали эти факторы. Для оттока мы использовали 9 факторов, для виральности — 6. Мы их измерили, возвели в квадраты, сложили, извлекли квадратный корень и получили итоговую оценку. Это как некоторый аналог расстояния в многомерном пространстве, измерениями которого являются разные факторы.
Кейс про прибыль без монетизации
Следующий кейс — про платный сервис онлайн-автозаправок. Рынок был поделен между двумя игроками, и это был один из них. Чтобы стимулировать продажи, сервис создал для своих клиентов бесплатное мобильное приложение. Оно содержало информацию о парковках, пробках и т.д. Важно ещё раз подчеркнуть — это мобильное приложение было доступно только клиентам сервиса. И по задумке оно должно было стимулировать продажи.
Нам надо было предложить метрику, которая бы оценивала эффективность бесплатного приложения.
Как вы думаете — в чем была сложность при оценке ROI этого мобильного приложения? Надеюсь, многие догадываются, что здесь основная трудность — так называемая «каннибализация трафика». Ещё в таких случаях упоминают проблему курицы и яйца. Мы не знаем, что является причиной, а что — следствием: клиент покупает бензин в сервисе, потому что у нас классное приложение с парковками или он лоялен к бренду сервиса, регулярно покупает там бензин и потому пользуется другими продуктами бренда?
Для этого мы нашли детализированные данные обо всем рынке рынок сервисов автозаправок. Выделили только ту его часть, которая была нашими клиентами и у которых было установлено приложение. Нас интересовало то, как люди пользуются нашим и другими сервисами не только после установки приложения, но и ДО. Мы выбрали коридор в 8 недель: начинали отслеживать активность пользователей за 4 недели до установки, а заканчивали — через 4 недели после. На какую метрику вы бы смотрели в такой задаче?
Поскольку клиенты, как правило, покупали одновременно и у нас, и конкурентов, было логично смотреть на долю продаж в нашем сервисе относительно всего рынка на выбранном сегменте покупателей, которые когда-либо устанавливали наше бесплатное приложение. Посмотрите на график. Визуализация довольно сложная. Но что вы там видите?
Я вижу, что до установки приложения доля сервиса на рынке была более-менее постоянной. Сразу после установки происходит резкое увеличение доли платного сервиса — пользователи, которые и так совершали покупки, начали совершать их еще активнее, уже в приложении. Потом активность немного откатывается назад, но не до исходного уровня.
Эффективность от установки — это разница между долями до установки бесплатного мобильного приложения и после, умноженная на маржинальность одного литра бензина. Что здесь может претендовать на роль Метрика Всевластия?
В нашем случае это была «эффективность установки приложения». Судите сами, эта метрика помогла посчитать ROI от бесплатного приложения, обосновать инвестиции на его развитие и оптимизировать маркетинговые затраты.
Поделюсь некоторыми инсайтами. Например, оказалось, что канал, на который выделялся самый большой бюджет, был наименее эффективным. Так происходило, потому что мы смотрели на показатель retention. Очевидно, что у самых лояльных пользователей retention был лучше, но с точки зрения их вовлеченности в сервис ничего не менялось. После анализа данных маркетинговый бюджет перераспределили так, чтобы увеличивались продажи платного сервиса, а не retention.
Выводы
- Не стоит слепо использовать популярные метрики — для начала надо разобраться в специфике своего бизнеса, продукта и рынка, понять бизнес-цели и уже потом выбирать готовую или конструировать метрику под себя.
- Обычно команда улучшает продукт в одном из трех направлений: дизайн интерфейса, экономика, пользовательский опыт. Соответственно, метрики должны быть направлены на улучшение этих свойств и качеств.
- Возводя хорошие метрики в ранг божественных, команды увеличивают риск провала — они отбрасывают или игнорируют хорошие идеи и сбивается фокус. В результате теряется связь с реальностью, а продукт не развивается.
- Исследуя пользовательское поведение, обращайте внимание не только на то, что видно в метриках и известно клиенту, но и на фон — неочевидные обстоятельства, которые ведут его к покупке.
- Не делайте сложные визуализации с многочисленными метриками — чаще всего они непрактичны и не дают возможность нормально принимать решения. Упрощайте, убирайте лишнее, находите правильные и полезные для бизнеса метрики.
Благодарим за подготовку статьи редактора Елену Егину.
Что еще почитать и послушать про метрики
- Подкаст make sense о главной метрике для продукта, модели метрик и инсайтах из аналитики с Владиславом Прищеповым
- Подкаст make sense о пирамиде метрик, анализе рынков и саморазвитии с Еленой Серегиной
- Подкаст make sense о выборе метрик продукта, вкладе продуктовых фич и точках роста с Александром Сергеевым
- Как измерять удовлетворенность пользователя продуктом и что такое метрики счастья?
- Есть ли какая-то волшебная метрика, которая показывает, как влияют изменения в b2b-продуктах на будущие/текущие продажи?
