Вам не нужна Метрика Полярной звезды. Вам нужен штурман. Кого нанимать в эпоху изменений (Елена Серёгина)

Елена Серёгина, Founder, DataLatte

Добрый день, рада вас здесь видеть. Я действительно пришла сюда рассказать вам о том, что метрика «Полярной звезды». И вообще метрики данные, возможно, не панацея. Немножко о себе. Треть своей жизни я занимаюсь аналитикой, половину своей жизни я влюблена в физику и математику. Это не очень взаимно. Но я люблю все систематизировать и сделала framework, пирамиду продуктовых метрик. В DataLatte мы прогнали этот framework через достаточно разное большое количество компаний. Некоторые из них вы видите на слайде. И я показываю эти компании, чтобы вы поняли, что то, что я сегодня буду рассказывать — это не история про какую-то одну индустрию или отдельно размер компании. Это достаточно репрезентативный опыт. Но все, что я буду говорить — это будут исключительно гипотезы. Это не утверждение, не аксиома.

Вы когда-нибудь задумывались над тем, рентабельна ли аналитика? Ведь нам все говорят, что «вы должны инвестировать в данные, вы должны быть data driven product менеджерами». При этом данные — это люди, это сервера, это SAS-сервисы, системы аналитики. Наконец, это разработка. Все это стоит денег. Возникает вопрос, окупается ли аналитика? И маленький дисклеймер. Как я уже сказала, все, что вы сейчас услышите — это не руководство к действию. Это моя гипотеза, но я в нее верю, потому что есть некоторый опыт. И я постараюсь не добавлять усилители успеха в этот контент, чтобы вы просто узнали некоторую честную информацию. И, возможно, она поможет вам делать аналитику более рентабельной.

Давайте немножко поговорим о том, откуда возник хайп вокруг аналитики. Все очень просто, данных стало больше. Знаете, в 2012 году я пришла работать в компанию «Яндекс», и буквально в течение моей карьеры там количество доступных данных увеличилось в семь раз. И не только увеличилось их количество, они стали просто доступнее. Раньше я писала код в черном терминале, страшные какие-то символы. Несколько дней длились выгрузки. И буквально прошло несколько лет, всего пару кликов в табло, несколько секунд расчета. И, казалось бы, вот оно, золото из данных, сейчас мы его достанем. Да, это было время простых решений.

Когда я начинала DataLatte в 2017 году, почти каждый второй мой клиент вне зависимости от размера компании… Это были такие компании, которые особо не смотрели в данные. Вот наш первый клиент, кстати. Вы сейчас увидите этот кейс. Они пришли и показали график в «Яндекс Метрике». «Смотрите, наш в основном весь трафик идет из «Яндекс Директ», — сказали они. Окей, начали туда больше лить денег. Видим, что трафик становится больше. При этом маржа уже идет в минус, потому что доход не растет. Что делает аналитик? Всего пару кликов, и мы показываем график, на который в действительности надо смотреть: «Ребята, стоимость купленных товаров у вас распределена по источникам трафика так, что в основном вы зарабатываете на маркете. И да, он пошел вниз, потому что вы им не занимаетесь, и вы просели по ранжированию. Почините это, и у вас все будет хорошо».

И вот они получают Х3 к доходу буквально за месяц. Это очень вдохновляет. И, конечно, вы ожидаете, что вы сможете это масштабировать, что у вас будет Х4, Х10. Знакомо ли вам это ощущение полета от первых инсайтов до driven? Происходит ли что-то потом? Я наблюдаю таких клиентов потом. И наблюдаю, что они начинают активно нанимать аналитиков, инвестировать, в общем, в data driven, но получают Х1. Они не выращивают доход за счет данных. И это частный пример. Но несколько лет назад McKinsey провело масштабное исследование: 13 секторов экономики, 12 стран, 1000 компаний с оборотом более 1 миллиарда долларов. Это крупные компании, у которых наибольшие шансы получить рентабельность от аналитики.

Задумайтесь, пожалуйста, какой процент компаний окупили свои инвестиции в масштабирование аналитики. Можете выкрикнуть из зала, если хотите. Тринадцать, интересная гипотеза. Я как аналитик надеялась, что будет хотя бы 50. Но, конечно, насмотренность уже говорила, что нет. Всего 8%. Осознайте, 8% — это наша с вами максимальная позитивная вероятность окупить этот самый модный data driven. В общем-то, неудивительно, что среди нас все больше таких Гретт Тунберг, которые просят все-таки vision и только vision. Потому что данные, они просто увеличивают энтропию и нагревают вселенную. Что говорят люди, которые становятся ярыми противниками данных? Они говорят: «Смотрите, ребят, все очень просто. Процессы делятся на change и run. Change — это создание чего-то нового. Это как раз кратный рост. А run — это поддержка. Нам главное, чтобы ничего не упало. Роста там нет, это про стабильность».

У меня вопрос к вам. Аналитика — это про change? Кто думает, что это про change? Несколько человек. Кто думает, что аналитика — это про run? Большинство, я вас обожаю. А кто думает, что и change, и run? Тоже есть люди. В общем, большинство, как я и догадываюсь, считает, что аналитика — это про run. Кстати, давайте честно. Run — это не круто. Потому что чуйка, driven, vision, новые продукты — это change. И это круто. Но, честно говоря, мне смешно от такой позиции, потому что я искренне верю, что аналитика — это и change, и run. И когда мы начинаем делать run аналитику, думая, что аналитика — это про стабильность, мы получаем не очень хорошую историю.

Сейчас я расскажу вам сказку о стабильности. Это такая собирательная история. Все персонажи вымышленные, но основанные на реальных событиях. Называется она «Петя и аналитическая прокрастинация». Был такой замечательный бизнес, доставка обедов в офис. Это был очень классный бизнес. Шесть миллионов маржи каждый год, росло дважды ежегодно. В основном органический трафик и нерусский рынок, то есть большие возможности. Ребята начали инвестировать потихоньку в масштабирование, в рекламу. Зарабатывали они в основном, если говорить про рекламный трафик, на Instagram. И вот однажды наш великолепный основатель просто поседел. Он посмотрел на график продаж в разрезе по источникам трафика и увидел, что за месяц его любимый Instagram упал в шесть раз с 30% до 5%.

Причем, посмотрите, какое предательское плавное падение. Оно ведь не полочкой. Когда резко все обваливается, это еще надежда на то, что приборное какое-то падение, у нас что-то отвалилось, надо починить. И у нас было по экспоненте, так естественно, как обычно уходят люди. Петя все несколько раз перепроверил и понял, что в маркетинге, в баннерах все прекрасно. Кажется, что мы вытоптали этот источник. Instagram больше не перформер. Он отключил рекламу и в ужасе увидел, что продажи упали на 30%. Вы знаете, иногда очень редко, но плохой код работает так, что падение выглядит, как экспоненциальное, вот так, хотя на самом деле это было приборное падение. Просто аналитик написал достаточно большое количество костылей в этом расчете, чтобы все выглядело именно так.

Это не к тому, что он плохой. Мы все делаем ошибки. Исправление этих проблем, а также потери в бюджете из-за того, что мы отключили Instagram, оцениваются примерно в 10% прибыли за месяц. И это длилось два месяца. Это был дикий стресс для основателей. Хотя я, забегая вперед, скажу, что инсайт, который дал кратный рост, стоил в 50 раз дешевле и длился значительно меньше, исследование. Но когда ты видишь, что аналитика может быть такой коварной и предательской, ты хочешь системного подхода. Я и сама говорю своим клиентам всегда: «Ребят, DWH, дашборды. Нам нужна системность. Это же про стабильность, про run».

И, казалось бы, это то, чем является аналитика. Но как на самом деле это выглядит? Это бесконечная верификация данных: «Какие данные мы можем собирать? Ой, у нас разошлись источники, здесь один процент, здесь другой». В какой-то момент вся компания буквально была вовлечена в то, чтобы сравнивать данные для новой системы дашбордов, которую строили в этой компании. А потом, когда они появились, эти дашборды начали изучать. Очень интересный и занятный процесс. Многие хвастаются тем, что они это делали. Но что это такое на самом деле? Я называю это «аналитическая прокрастинация». Это когда ты что-то строишь, изучаешь, но ничего не происходит. Кроме разве того, что было потрачено девять месяцев и 5% годового дохода компании. Они ничего не получили плюсом. А насчет того, что стабильность упала, не упала, история не имеет сослагательного наклонения.

Возникает вопрос: «Что, надо было как-то иначе?». Можно ли заниматься аналитикой так, чтобы она постоянно давала какой-то дополнительный прирост бизнесу? Может быть, у них плохие аналитики были? Ребят, вы не понимаете. Это другое. Искренне классическая аналитика, она именно такая, как я сейчас рассказала. Это не хорошо и не плохо. Просто в компании, утверждаю я, должны быть еще кое-какие процессы для того, чтобы эта замечательная аналитика давала результаты. Давайте разбираться. Data driven — это классический подход к аналитике, когда мы отталкиваемся от данных: какие данные есть, какие данные можно собрать. Так, нам нужно навести порядок в данных, построить дашборды. Надо сказать, что сейчас индустрия немножко эволюционировала. И все эти NSM, бенчмарки. А на какие метрики смотрят в нашей индустрии? Доходимость до конца курса, например, в техе. Знакомо вам все это? Это metrics-driven подход к аналитике и к product менеджменту. Сейчас это кажется на хайпе. Многие мои клиенты за этим приходят. Но они искренне верят в то, что я сейчас им скажу: «Ребят, похожие на вас компании считают эти метрики. Вот правильные формулы», и у них все станет замечательно.

Я не буду сейчас вам рассказывать эти кейсы. Потому что я бы, наверное, разрыдалась на сцене, настолько они горячие и болезненные для меня. Потому что я понимаю, что так не работает.

Здесь вы видите пирамиду метрик. Но на ней разложены не метрики, а роли аналитиков. Как-то раз я просто открыла HeadHunter и выписала все вакансии аналитиков, которые есть. А потом я подумала: «Окей, аналитики, они же считают конкретные метрики». Например, аналитик кибербезопасности, понятно, он считает метрики качества продукта, который занимается в том числе и кибербезопасностью. Есть, конечно, сквозная история. Например, data-инженеры, они считают все подряд. Но они и не определяют метрики. Есть еще очень таинственные, загадочные продуктовые аналитики, от которых непонятно чего на самом деле ждут компании. Но я точно знаю, что компании не ждут от продуктовых аналитиков того, что здесь, в зоне слепого пятна метрики ценности. Обычно я прихожу в компанию, беру их метрики. Раскладываю их по пирамиде метрик, чтобы показать, куда компания не смотрит, где у них дисбаланс. Очень часто это именно метрики ценности и качества.

И если мы посмотрим на эту картинку, она выглядит довольно пугающе, я согласна. Но что мы видим? Индустрия просто не готова смотреть в ценность. Она не готова. А знаете, почему? Потому что есть еще третий подход к аналитике, где как раз можно считать метрики ценности. Это основанный на гипотезах подход, когда мы определяем проблемы и боли наших пользователей, бизнеса относительно монетизации своего продукта. И декомпозировать на факторы, это уже метрики качества, которые бы позволили эти боли закрыть.

Кстати, интересный момент. Вообще на западном рынке есть такая вакансия, называется Metrics Analyst, аналитик метрик. Это почти продуктовый аналитик, даже если смотреть по деньгам, сколько он зарабатывает. Кстати, меньше, чем data science специалисты они зарабатывают. Если мы посмотрим на характерные компетенции аналитика метрик, то мы увидим немножко другое определение, чем классический продуктовый аналитик. Он должен определять стратегические метрики, прокси, качеством данных заниматься. Обратите внимание, он должен уметь разрабатывать сложные математические формулы. Это чуть сложнее, чем просто unit-экономика. Прогнозы, модели, табло — это понятно. Это классический стек любого технического специалиста в продукте. Здесь подсвечено самое главное.

И, конечно, возникает вопрос. Может быть, это какие-то особенные продуктовые аналитики? Может быть, это оно и есть? Но на самом деле черт в деталях. Если вы посмотрите описание продуктовых аналитиков, придете к конкретной компании и зададите вопрос, чего они ожидают, то вряд ли вы увидите там именно ожидания, что аналитик будет создавать стратегические метрики, определять прокси-метрики. У нас же это обычно покрывается бенчмарками и vision. И вы знаете, несколько лет назад этот прекрасный человек Миша Цвик — он, кстати, просил передать всем привет, потому что я спросила разрешения его упомянуть — написал такую вакансию. Он вообще всегда во всех своих вакансиях говорил: «Вы должны быть архитектором метрик». И когда я увидела это на Facebook, я подумала: «А кто же такой архитектор метрик?». И начала думать над этим, общаться с коллегами. И поняла, что это такой человек, такая роль, которой у нас в компаниях нет.

Мне кажется, что Metrics Analyst — это очень похоже на архитектора метрик. И это не product менеджер и не продуктовый аналитик. Смотрите, здесь внизу описание Metrics Analyst. А теперь давайте посмотрим, как бы он выглядел в России, если бы мы заставляли его быть продуктовым аналитиком. Мы бы классически пошли. Мы бы заменили стратегические метрики на бенчмарки, на то, что принято считать в индустрии. Прокси-метрики на всякие конверсионные: ритейл, C1, конверсия в первую покупку. И никаких сложных формул мы обычно не можем создать, потому что для этого нужно знать процессы экономические внутри продукта, внутри компании. А как консультант я знаю, что в компаниях не любят инвестировать время на то, чтобы этим заниматься. Поэтому на самом деле продуктовый аналитик не может в тех процессах, которые сейчас есть во всех компаниях, быть архитектором метрик.

Что делает архитектор метрик? Он делает hypothesis driven, основанные на гипотезах аналитику и product менеджмент. Что это значит? Это значит, что сначала у нас всегда есть гипотеза. С гипотезой мы ассоциируем несколько метрик. Но каждая метрика на самом деле — это гипотеза. Каждая метрика — это гипотеза о том, что она чувствительна, что она позволит вам проверить эту базовую гипотезу.

Затем по данным и интуитивно через определенные framework вы проверяете метрики, убиваете слабые. И у вас в итоге с гипотезой ассоциированы только проверенные метрики. Затем вы собираете необходимые данные для проверки, получаете инсайты. Это у нас change. И если эти инсайты таковы, что нам кажется, что нам хочется следить за этой метрикой дальше, мы получаем дашборды. Это уже run. И на самом деле скажу вам честно, работает только так. Когда думают, что мы сейчас возьмем бенчмарк, в общем, там посчитаем в классической формуле, толком ее не понимая, и получаем эти 92% компаний, которые сливают бюджеты на аналитику. Hypothesis driven — это когда мы определяем боли и факторы влияния. И это, кстати, позволяет понять, какие данные надо собирать. Понятно, что мы не можем собрать все данные. Мы сначала создаем некую идеальную модель, а потом пересекаем ее с реальностью и получаем необходимое пространство события.

Например, идеально хочется считать, сколько наше приложение экономит денег клиенту. Но мы не можем собирать эти данные. Поэтому реальная метрика — это просто число использования приложения, когда гипотетически пользователь мог сэкономить деньги. Давайте сейчас вернемся к Пете и аналитической прокрастинации. В какой-то момент он нанимает человека, который является, по сути, архитектором метрик. И просит найти ему NSM в терминах метрики ценности. Архитектор метрик запускает следующие процессы. Он хочет, чтобы в компании был запущен процесс по формулированию гипотез ценности. У вас продукт решает какие-то проблемы, их достаточно много. Это все гипотезы. Мы их сначала должны выявить, потом приоритизировать. Факторы качества — это то, на что декомпозируются ценности. Из них потом родятся метрики качества.

И нам очень важно для приоритизации знать реальные боли бизнеса и боли потребителей. Боли бизнеса — это нам внутри компании надо общаться. Боли потребителей — нам нужно смотреть логи, как они покупают у нас, как они нами пользуются. Нам надо общаться с людьми. Вот он, архитектор метрик. Знаете, кто эти ребята? Вообще говоря, это продуктовая команда. По сути, он их трекает: он трекает product, он трекает аналитиков, он трекает UX researcher. Он помогает этим людям. Он запускает процессы. Он помогает им запустить процессы, которые я только что озвучила.

И на самом деле гипотезы о ценности, они могут рождаться из самых разных процессов. Например, изучение корреляции вашего трафика на сайт с запросами в Wordstat. Здесь как раз это реальный кейс. Он очень сильно изменен, он не про еду. Но будем считать, что именно в доставке обедов в офис увидели, что есть корреляция revenue и mau с запросами, в которых есть уточнение состава блюд. Это очень страшный график, он мне не нравится. Но зато он виральной задачи. По Х отложили долю ингредиента в истории пользователя. Взяли все, что он покупал и посчитали, например, что 30% было масла съедено им за все время, что он у нас покупал. Классифицировали ингредиенты на вредные, полезные, нейтральные. И по Y отложили количество пользователей с таким процентом ингредиента в истории.

Что увидели? Увидели, что у маржинальных клиентов, и таких клиентов большинство, полезных ингредиентов в истории было максимальное количество, а вредных минимальное. Это было уже такое усиление гипотезы о том, что люди к нам приходят за полезной едой. Потом через корреляции проверили, коррелирует ли эта метрика доля полезных ингредиентов в slave time value из retention. И оказалось, что коррелирует. Если мы настроим продукт так, что люди будут съедать у нас больше полезной пищи, они к нам за этим идут, они будут к нам возвращаться. Поняли, что это в каком-то смысле отточенная метрика ценности и кандидат на NSM.

Плюс там, кстати, еще был такой фактор, как комплиментарность. Блюда должны были подходить друг к другу. Это неизмеримый фактор, но из аналитики он следовал. Построили ML-модель, которая показала, что если мы на 10% вырастим долю полезных ингредиентов, — а это было понятно, как сделать — то мы на 30% вырастим revenue. И потом ребята начали смотреть на долю полезных ингредиентов, декомпозировали ее на факторы для технологов, которые создавали продукты. Вообще это была история про change или про run. Вообще, мне кажется, и то, и другое. Потому что сначала они change и получили плюс, потом они run смотрели на эту метрику, но продолжали change. Они в процессе run, регулярного просмотра этой метрики каждый раз при создании нового блюда думали, как бы им еще плюс какое-то количество процентов к revenue сделать. И это третий подход hypothesis driven.

Роль архитектора метрик или аналитика метрик, мне нравится называть его архитектором метрик — это именно роль, это не профессия. Это может быть отдельный человек в команде. Это может быть несколько людей, которые вместе являются архитектором метрик. Например, один больше про гипотезы, другой — про данные. Очень круто в корпорациях работает, когда это трекер, это лайф-коуч, например. В общем, некий сквозной человек, который ведет сразу несколько команд. Он еще перекрестным опылением занимается. В некоторых кейсах мне удалось такую роль имплементировать в компаниях. И я вижу, что это просто потрясающе работает в условиях корпорации, конечно.

Не всегда у компании есть вообще надежды попасть хотя бы в те 8%. Дело в том, что если нет продуктовой культуры и авторитарного менеджмента, то никакая NSM не поможет ничего сдвинуть. Потому что там всегда говорят: «Я сам лучше знаю, как устроен бизнес». И дальше в принципе можно расходиться. И плюс еще желание делать, как все, отсутствие понимания бизнес-модели. Например, отсутствие данных — это тоже на самом деле повод пока отложить все эти истории про data driven. В каких людях можно выращивать роль архитектора метрик? Прежде всего это продуктовый менеджер. Это почти уже готовые архитекторы метрик. Маркетологи тоже очень классно performer. Трекеры и коучи в корпорациях, аналитики, UX-исследователи и дизайнеры.

Что вообще должен внутри себя содержать человек, который готовится на роль архитектора метрик? Он должен быть продуктовый mindset. Он должен понимать, что такое гипотезы и не отвергать случайность событий в этом мире. Понимать хотя бы интуитивно, что такое статистика. Очень важно, чтобы он мог крутить данные, потому что иначе все рассуждения про метрики останутся только гипотетическими. Желательно, чтобы у него был навык построения моделей. Очень часто такой навык есть у людей, которые занимались машинным обучением, либо физикой хотя в институте. Еще тут такая шутка про философию Платона. Поскольку архитектор метрик — это человек, который помогает product, помогает аналитикам делать аналитику хорошо, то он должен наводящие вопросы задавать, а не авторитарно высказывать, как правильно по его мнению. Он запускает процессы.

Еще у меня как-то спросили: «Зачем формулы вообще во всей этой истории? Зачем архитектору метрик формулы?». Я привела примеры. Внизу моя любимая формула PFound. Это метрика качества ранжирования и поиска. Согласитесь, формула сложная. Поэтому желательно все-таки, чтобы формулы не пугали будущего архитектора метрик. А вверху еще более странная вещь. Это моя личная формула связи продуктовых метрик, что метрики ценности являются интегралом по всем путям в продукте от метрик качества. Тут тоже формула.

На самом деле необязательно работать с формулами. Это немножко шутка сейчас была. Здесь скриншот из мира, как challenge метрики. Вы берете метрику (например, attention), раскладываете ее по вопросам к продукту, чьи вопросы каких людей в команде эта метрика будет отрабатывать, какие важные срезы вы считаете, что нужно в ней учесть. И прорабатывая так метрику, в какой-то момент вы ее наверняка замените, уточните ее формулу. Изначально мы кладем гипотезу о метрике в этот контейнер, а потом начинаем ее здесь крутить, запускаем процесс. Это делает архитектор метрик. Общается с людьми внутри компании, изучает данные и в какой-то момент трансформирует данную метрику уже в то, что будет помогать компании делать и change, и run аналитику.

Я вам рассказала грустную сказку о том, что аналитик бывает нерентабельный, и там все очень сложно. И возможно, вы сейчас задумались, стоит ли вообще заниматься data driven. Что думаете, стоит? Кто думает, что не стоит? Ладно, очень мало людей подняли руки. Но, по крайней мере, никто не считает, что не стоит. Знаете, я на самом деле очень надеюсь, что то, что вы сегодня услышали, вместе всем нам позволит сделать продуктовую аналитику great again. Кто знает, может быть, через пару лет я буду здесь стоять и говорить: «Ребята, класс, 80%». Спасибо за внимание.