Если отличить мидла и сеньора от джуниор менеджера продукта на собеседованиях достаточно просто, то отличить мидла от сеньора уже не так легко. Оба имеют насмотренность и продуктовый опыт, способны относительно самостоятельно развивать или создавать продукт и т.д. Можно разделить их по времени в продуктовой разработке — но это слишком формальный показатель, который не отражает реальный уровень.
Игорь Седачев, руководитель продуктового направления профилей в Авито, рассказал, как с помощью вопроса о правильном выборе метрики для теста можно определить степень зрелости кандидата — мидл или сеньор.
За последние полтора я провел больше ста интервью менеджеров продукта и заметил, что вопрос «как правильно выбрать метрику для теста» постепенно перешёл для меня в категорию ключевых и встал в один ряд с целеполаганием, приоритизацией и широтой взгляда на бизнес.
С его помощью этого можно проверить не только аналитические навыки кандидата, но и на практике увидеть, как он или она использует продуктовый подход — а иногда даже поговорить о принципах управления и выстраивания коммуникации между командами. В статье расскажу, о чем спрашиваю, как отвечают чаще всего и каких ответов я жду от опытных менеджеров продукта.
Формулировка задачи
Разберу кейс, который я обычно предлагаю продактам.
Вводные. Представим, что у нас есть есть сайт с объявлениями — классифайд, — который умеет только публиковать карточки товаров и показывать номера телефонов продавцов. Потенциальный покупатель должен кликнуть на кнопку «позвонить», чтобы увидеть номер.
Главная метрика компании — количество контактов, одним контактом считается одно нажатие на кнопку «позвонить». Эту метрику растят все команды, она стоит в целях у топ-менеджмента и является корнем дерева метрик.
Команда классифайда решает, что пора начать рассказывать не только о товарах, но и о людях, которые их продают. Так делают конкуренты, об этом просят пользователи, а по рынку ходят отчёты, которые показывают: публикация информации о продавцах растит ретеншн покупателей.
Менеджер продукта, которому досталась эта инициатива, методично разбирается с проблемами пользователей и проводит качественные тесты. Он решает, что оптимальное решение — вывести на карточку товара базовую информацию о продавце: имя, аватарку, активность на площадке, дату регистрации, наличие подтверждённых документов и/или телефона.
Вопрос. Теперь менеджеру продукта нужно провести A/B-тест, чтобы убедиться в качестве решения. Поставьте себя на его место и объясните, как бы вы выбрали критерии успеха: какая метрика должна измениться и каким образом?
Как отвечают чаще всего
Самый частый ответ на собеседованиях: «раз компания растит контакты, значит, новое решение тоже должно растить контакты». Ниже в статье я объясню, почему это не тот уровень рассуждений, которого я жду от мидла или сеньора, но сначала хочу показать, как в таком случае продолжаю интервью.
Если кандидат отвечает, что нужно растить контакты, я предлагаю разобрать результаты эксперимента, в котором мы обнаружили их падение. Объясняю, что исход теста правдоподобный — мы проводили такие эксперименты, и в результате контакты уменьшались.
Чаще всего говорят, что A/B-тест можно считать успешным, если количество контактов увеличится. Это неудачный ответ
Теперь у кандидата есть три способа продолжить разбирать кейс:
❌ Сразу отказаться от информации о продавце на карточке, признав, что её появление роняет метрику и ухудшает пользовательский опыт.
? Предположить, что проблема с тем, как отображается информация о продавце и придумать другое решение, — визуальное или архитектурное. Спойлер: в таком случае я говорю кандидату, что будущие A/B-тесты дадут тот же результат — количество контактов упадёт.
? Подумать о том, насколько правильно выбранная метрика описывает изменения пользовательского опыта, и задать себе вопрос: «с чего мы вообще взяли, что нужно считать контакты, и почему они должны расти». Это удачный ответ и движение в правильную сторону.
Какого ответа я жду от мидла
Кейс сложно даётся большинству кандидатов, потому что они чаще всего работают с готовыми метриками, редко придумывают их сами или пересматривают. Люди сразу цепляются за «количество контактов», раз это главная метрика в компании, и предполагают, что она всегда должна расти. Это простой, но неудачный ответ. Мы ждем, что кандидат привык проверять на адекватность саму постановку задачи, а не слепо следовать её условиям.
Чтобы выбрать подходящую метрику для теста, нужно представить, что происходит с пользователем, когда он видит карточку товара с дополнительной информацией о продавце.
Рассуждение. Представим, что на классифайде есть 10 продавцов, которые продают 10 одинаковых айфонов по одной и той же цене. Предположим, что мы умеем показывать, кто из продавцов хороший, а кто плохой: двое объективно хороши, пять — средние, а три объективно плохи.
Оговорка: что значит «хороший продавец» и как это определить — тема для отдельной статьи, и на собеседовании мы не пытаемся решить эту задачу. Сделаем допущение, что во время подготовки к тесту менеджер продукта действительно выбрал оптимальное решение и теперь у нас есть техническая возможность показать на карточке, что продавец хороший, средний или плохой.
Мы хотим рассказать на карточке товара о качестве продавца и планируем запустить A/B-тест, чтобы проверить, стоит ли это делать. В контрольном варианте пользователи увидят 10 одинаковых карточек, в тестовом — увидят 10 новых, с качеством продавцов.
В контрольном варианте потенциальному покупателю нужно методично обзвонить 10 номеров, чтобы выяснить, что там за продавцы. Так он совершает 10 контактов.
Если совсем точно, то Х контактов, где X не больше 10: в реальности кто-то согласится на первого продавца, а кто-то, например, устанет после пятого звонка и не станет проверять дальше.
В контрольном варианте всё без изменений: на карточках только товар и кнопка «позвонить», информации о продавцах нет
В тестовом варианте покупатель увидит на карточках, что двое продавцов хорошие, а остальным звонить смысла нет. В итоге он совершает 1–2 контакта.
Если совсем точно, то Y контактов, причём Y, скорее всего, меньше Х — например, 2 против 10.
В тестовом варианте добавляем информацию о качестве продавца. Для упрощения представим, что эта информация помогает нам оценить продавцов и выделить хороших. Так выбирать стало проще, потому что всех обзванивать необязательно
Приносит ли решение пользу покупателю? Приносит. Уронили ли мы метрику «контакты»? Уронили:
| Вариант | Контрольный | Тестовый |
| Вид карточки | Одинаковые карточки | Карточки с качеством продавца |
| Количество контактов | Х, где Х ≤ 10 | Y, где Y ≤ Х |
Ответ. Выгода для пользователей выражается в падении метрики «контакты», так как мы сокращаем трудозатраты покупателей на поиск подходящего продавца.
Примерного таких рассуждений я ожидаю от менеджера продукта, претендующего на роль «крепкий мидл»
Какого ответа я жду от сеньора
Дальше начинается уровень со звёздочкой: «контакты» — это всё ещё главная метрика в компании, а мы тут её ронять собрались. Как придумать и построить новую метрику и реально ли это? Как убедить всех на неё перейти и нужно ли это делать? Как быть с тестом прямо сейчас, пока метрика придумывается, строится и лоббируется? Это уже вопросы к сеньору: на интервью он должен привести те же рассуждения, что мы обсудили выше, а ещё объяснить, что делать дальше.
Рассуждение. Один из главных аналитических вызовов классифайда в том, что мы не видим сделки. Успешный результат использования продукта — покупка нужного товара. Но с точки зрения данных этот исход не отличается от негативного: в обоих случаях пользователь в какой-то момент перестаёт возвращаться на сайт или возвращается уже с другим запросом.
В задачке про добавление информации на карточку товара мы стремимся помочь покупателю сделать выбор. То есть хотим сократить количество действий до сделки — события, которое невозможно залогировать, потому что оно происходит за пределами сайта.
Ответ. Для решения этой задачки можно придумать разные способы, например можно обзвонить участников теста и спросить «была ли сделка» или построить модель, пересчитывающую контакты в сделки на основании имеющихся данных. Но все эти варианты требуют долгой и дорогой реализации, а тест нужно запускать и анализировать уже сейчас. Поэтому единственный выход — переговоры с другими командами и менеджментом.
Я жду, что сеньор умеет правильно выбирать критерии успеха для эксперимента, а ещё может придумать, что делать дальше
Для начала стоит понять, почему именно «контакты» стали главной метрикой компании. Надо выяснить, как они связаны с опытом пользователей и с монетизацией. Получаем ли мы деньги за контакты? Если да, то за любые или только за те, что удовлетворяют определённым параметрам? Какие это параметры? Можем ли мы в тесте отслеживать только нужные контакты? Разобравшись с этим, будет проще понять, как аргументировать необходимость теста, в котором главная метрика компании будет падать.
Как правило, в часовом интервью не удаётся детально разобрать все эти вопросы. Но чтобы показать уровень сеньора, менеджеру продукта достаточно правильно задать их и продемонстрировать, что он понимает, откуда вообще берутся метрики в бизнесе.
Кратко: как я определяю уровень менеджера продукта с помощью вопроса про метрики на собеседовании
Я даю кейс. У нас есть классифайд, который умеет только публиковать карточки товаров и показывать телефоны продавцов. Чтобы увидеть номер, покупателю нужно кликнуть на кнопку «позвонить» — это называют контактом. Контакты — главная метрика компании, все команды должны её растить.
Менеджера продукта просят добавить на карточки информацию о продавцах — так хотят пользователи и уже делают конкуренты. Он проводит качественные тесты и подбирает оптимальное техническое решение.
Задаю вопрос: как провести A/B-тест, чтобы убедиться, что информацию стоит добавить на карточки? Какая метрика должна измениться и каким образом, чтобы считать решение успешным?
Что отвечают чаще всего. «Компания растит контакты. Значит, чтобы считаться успешным, новое решение тоже должно растить контакты». Это неудачный ответ, и я скажу кандидату, что A/B-тест показал падение контактов — в реальности так бы и случилось.
Что я жду от мидла. «Информация о продавцах сократит трудозатраты покупателей, потому что выбирать станет проще и быстрее. Покупатели будут обзванивать меньше продавцов. Так что решение можно считать успешным, если контакты упадут». Что я жду от сеньора. Тех же рассуждений, что и от мидла, а ещё идей, что делать дальше и как вести переговоры с менеджментом. Как аргументировать необходимость теста, в котором главная метрика компании будет падать? Как придумать новую метрику и нужно ли это? Обычно за час интервью не удаётся разобрать все вопросы, но кандидату важно показать, что он знает, откуда вообще берутся метрики в бизнесе.
