Как построить процесс проверки гипотезы и быть уверенным, что твои фичи будут продаваться (Александр Бровко)

Александр Бровко, CPO, Webinar Group

Всем привет! Меня зовут Саша, я отвечаю за продукты в компании Webinar. Сегодня хочу рассказать о процессе, который помогает масштабировать гипотезы маркетинга и продажи, и после их валидации значительно снизить вероятность того, что созданные возможности не будут продаваться или будут, но не так, как вам хочется, и вы не сможете быстро найти проблему; создавать свое общее направление из продуктовых направлений; избежать хаоса, когда команды работают в разном ритме по разным процессам; создавать артефакты, что значит, что всегда можно будет вернуться к проведенным экспериментам и понять, что было сделано, почему было сделано, что особенно важно, когда к вам в команду приходит новый человек, и ему нужно разобраться и не дублировать те эксперименты, которые уже были проведены; и проверять гипотезы быстрее за счет фокуса и постоянной работы над ограничениями, которые мешают вам двигаться дальше. Процесс подходит как для B2B, так для B2C с небольшими изменениями в тех этапах, которые надо будет пройти.

Немного о нас. Мы в компании Webinar создаем экосистемы сервисов для распространений знаний онлайн-коммуникаций в компаниях и между компаниями, партнерами, клиентами. Среди наших клиентов несколько тысяч организаций. Мы — одни из лидеров корпоративных техрешений. У нас уже есть несколько продуктов в наших продуктовых линейках. Мы растем быстрее, чем в два раза в год по деньгам, по юзу растем еще быстрее. За прошлый год на наших мероприятиях было порядка 20 млн участников.

Я в компании Webinar в продуктовой разработке уже более семи лет. У меня есть бэкграунд как в аккаунтинге, так и инженерной и технической поддержки. В качестве продакта я работал над существующим продуктом — вебинар запускал, запускал новую версию, запускал абсолютно новый продукт от идеи до масштабирования. Как директор по продукту формирую команду, провели трансформацию, разделили продукт, запустили несколько продуктовых направлений. Сейчас переходим к экосистемному подходу.

Какие проблемы? Почему мы решили, что нам надо какой-то процесс делать и что-то переделывать? У нас был процесс, который выглядел довольно просто и, наверное, многие по такому же процессу работают — после того, как мы формулировали OKR цели на квартал, формулировали гипотезы и какие-то инициативы, продакт проводил проблемное интервью, валидировал эту гипотезу, проверял решение, создавалось MVP, и после этого мы проводили небольшое обучение для продавцов и дальше ждали результата. Чаще всего наш хатико результата не дожидался.

Почему? Какие проблемы у нас были? После того, как продакт валидировал проблему на пользователях, делал решение, предлагал его пользователям, и у него все было хорошо. Здесь проблема в том, что одно дело, когда к клиенту приходит продакт, который является мастером пользовательских интервью, исследований, экспертно пытается предложить какой-то свой новый продукт, это очень сильно отличается от того, когда к клиенту приходит менеджер по продажам, который не проводил до этого десятки интервью, который сам не прорабатывал детально будущий продукт, не погружен настолько в тему, как продакт. Те знания, которые в итоге передавал менеджер по продукту, они были не оптимизированы для процесса продаж на масштабе. Потом из-за этого попытка внедрять новые возможности или продукты на весь департамент приводила к тому, что какие-то вещи просто игнорировались, менеджеры по продажам работали так, как они работали до этого. Результата соответственно мы никакого не видели.

Второй проблемой было то, что мы ситуативно вносили изменения в привлечение со стороны маркетинга — в рекламные компании я имею виду, в активности — и из-за этого маркетинг был сфокусирован на тех продуктах, которые мы продавали до этого, а не на тех новых возможностях, которые приносил продакт. В итоге результат, если он и был, измерить было сложно или вовсе невозможно. Если мы хотели получить какой-то результат и измерить, необходимо было собрать данные из нескольких мест — из XRM, из продуктовой аналитики. Где-то их замержить, попытаться подвести итог, потратить кучу времени на прослушку звонков, пытаясь найти релевантные, понять, что же там было не так, предложить какие-то изменения — кучу времени тратить на выяснения и исследования. И из-за этого начинали страдать новые гипотезы, на которые у продакта просто не оставалось времени, потому что он тратил его на попытки разобраться в том, почему не продаются, почему не заходят уже запущенные фичи.

В итоге всего нашего дискавери процесса те фичи, которые должны были взлететь, те гипотезы, которые должны были взлететь, зачастую не взлетали. Ответа на вопрос почему мы получить не могли.

Так как мы заканчивали разделение на несколько направлений, мы воспользовались советом Владимира Вольфовича, поняли, что хватит это терпеть, и решили создать процесс, который нам поможет избежать тех проблем, которые у нас были. Мы сформулировали некоторые требования к этому процессу. Первое — получать предсказуемый результат при передаче гипотезы на масштабирование в отдел продаж. После того, как мы передаем гипотезы на масштабирование в отдел продаж, мы должны четко понимать, какое количество лидов мы привлечем, какая будет стоимость привлечения этого лида, какие конверсии, и какую выручку мы получим. Мы должны быть уверены в этих цифрах, они должны быть предсказуемыми.

Второй момент. Мы должны иметь единый процесс для всех продуктовых команд, единый критерии перехода и должны быть четкие и понятные процессы синхронизации этих продуктовых команд.

Механизм должен работать, как часы. Не должно случаться такого, что один из департаментов — маркетинг или продажи — во время того, когда продакт приносит свою гипотезу, заняты какой-то другой задачей, и в итоге гипотеза идет в стол.

И скорость проверки. Процесс не должен замедлять команду. Гипотезы не должны проверяться месяцами, годами. Все должно быть быстро и четко.

Артефакты. Каждый новый член команды должен понимать, какие эксперименты проводились ранее, с какими результатами они закончились и почему.

В итоге у нас получился такой процесс, который изображен на слайде. В нем порядка 12 этапов, которые необходимо пройти от момента того, как мы берем гипотезу в работу, до момента того, когда мы ее отпускаем и перестаем за ней следить. Этот процесс — это такая смесь трекшн-карты, которая используется во ФРИИ. Это смесь гроус хакинг процессов и какие-то свои вещи, инновации, которые мы добавили, исходя из особенностей нашего бизнеса и наших процессов. Весь процесс умещается в страницу, лист Google Docs, где происходит вся наша работа. Каждая строчка — это гипотеза. Столбцы — это те этапы, которые гипотеза должна пройти.

Теперь подробнее про каждый этап расскажу. Первый этап. Первые этапы довольно привычные, думаю, те, кто системно проверяет гипотезы, с этими этапами знакомы. Первый этап — это оцифровка гипотезы. Наша цель здесь — переложить наши галлюцинации из головы в формат сегмент — проблема — ценность. Критерий перехода, когда мы понимаем, что нам можно двигаться на следующую стадию — это есть шаблон ценностного предложения, и мы посчитали дополнительную выручку от реализации той или иной возможности. Занимается продакт-менеджер.

Вот пример того, как должна выглядеть гипотеза, которую мы берем в работу. Здесь есть: мы компания такая-то; помогаем клиентам такого-то типа — описываем сегмент; в такой-то ситуации — контекст, в котором находится компания и сегмент; решает такую-то проблему — то есть какую проблему решает клиент; с помощью технологий — что мы даем клиенту, какой продукт или возможность; и какую ценность он после использования нашего продукта получает — то есть что происходит в жизни клиента после того, как он воспользовался нашей возможностью. Чем точнее мы формулируем ценность, тем лучше. Это либо деньги, либо время — какая-то осязаемая вещь, которую можно пощупать и посчитать.

Дальше, после того, как мы сформулировали УТП, мы переходим к этапу валидации проблемы. Здесь наша цель — подтвердить, что наши галлюцинации, которые мы переложили в УТП, действительно есть у клиентов из этого сегмента. Если их нет, то мы возвращаемся в начало нашей трекшн-карты, либо мы что-то докручиваем, если это не критично, и доформулируем. Здесь критерий перехода — мы провели больше 10 интервью. Зависит от нашего понимания сегмента, где-то должно быть и 20 интервью. Но мы стараемся делать не меньше 10. Количество подтверждений значимо, проблема пользователя оцифрована. То есть мы нашли числовое значение того, что же болит у клиента, как он измеряет эту боль.

Здесь тоже занимается PM, здесь никаких у нас секретов нет. Единственное, что у нас есть — это хороший инструмент. Один из руководителей направления с аналитическим бэкграундом сделал нам калькулятор, в который можно добавить количество интервью, уверенность, которую мы хотим получить. И после того, как мы вбиваем количество интервью и количество подтверждений, можем понять, значим этот эксперимент или не значим.

Дальше. Если сегмент новый, который мы проверяем, нам необходимо понять, что мы можем привлекать новых пользователей, предлагая решение их проблемы. То есть не просто нашли 10 клиентов из нашей базы, с которыми поговорили, а мы сможем делать это на масштабе по той стоимости, которая нас удовлетворяет. Здесь мы тестируем различные факторы — основные работы, подработы, микроработы, прямые продуктовые офферы, лид-магниты, калькуляторы счастья, все, на что мы можем привлекать нашу целевую аудиторию. Мы ждем здесь тех вариантов, где CTR был больше 1%, и там мы сразу добавляем лид-форму. Мы с этими лидами общаемся, мы понимаем, что лиды эти качественные.

Здесь у нас есть команда роста. Здесь все процессы, по которым мы работаем, это процессы гроус хакинга, и продакт совместно с командой роста, которая состоит из продакта и маркетологов, эти вещи тестирует. Это если новый сегмент. Если сегмент существующий, там мы пропускаем этот этап и сразу идем к нашим клиентам из базы.

Так выглядит на примере. Мы работали в Trello, сейчас это всё переводим в Notion. Продакт формулирует свою задачу, что ему надо протестировать, какие офферы, какую-то примерную картинку, как должна выглядеть реклама. И дальше после того, как мы провели тест, мы выбираем отсюда те вещи, которые действительно сработали, и потом эти вещи мы будем использовать. И, если возможность дойдет до стадии масштабирования, мы возьмем те самые успешные варианты привлечения и уже будем их запускать в системе маркетинга.

Следующий шаг. Если у нас все хорошо, мы переходим к одному из важнейших шагов, это тестирование алгоритма продаж. Здесь нам нужно понять, что наше решение подходит, мы можем продавать его привлеченным пользователям и получать те деньги, которые мы хотим. И мы подготовим тот документ, который будет адаптирован для масштабных продаж, где самый среднестатистический специалист отдела продаж сможет взять этот алгоритм и, пройдясь по нему как по скрипту — понятно, что не четко, не 100% ему следуя — сможет продать.

Здесь наши критерии перехода — есть этот алгоритм продаж, в котором мы рассказываем, сегмент, сценарии, вопросы, какие нужно задавать, чтобы выяснить, что проблема есть, как надо демонстрировать наш продукт, какую стоимость называть. Есть прототип решения, и мы этот алгоритм продаж в ходе 10 демо проверили. Мы получили подтверждение клиентов, это commit какой-то — это могут быть деньги, это может быть подписан договор, это может быть соглашение о намерениях, это может быть NDA, то есть все то, что заставит человека подняться со стула и пойти что-то поделать. В компаниях размера «Газпром» и других энтерпрайз, человек, чтобы пошел, NDA подписал — это достаточно трудоемкая для него процедура. И если он это сделал, это значит, это ему действительно интересно.

На этом этапе мы подключаем отдельного человека, у которого есть опыт продаж и опыт работы продактом. Он помогает нам проверить гипотезу с точки зрения коммерческой составляющей, и он отвечает за перевод этой гипотезы на масштабирование. Он воспроизводит весь процесс, по которому будут дальше работать продавцы. Все стадии воронки. Он проверяет, что алгоритм продаж работает, он фиксирует конверсии из стадии воронки в стадию воронки, вносит какие-то небольшие изменения — либо большие с продактом, либо небольшие самостоятельно — находит пользователей сегмента, назначает им демо, проходит по всем стадиям, ждет. Иногда бывает, что цикл сделки достаточно большой, поэтому мы доходим внутри команды до продвинутой какой-то стадии воронки.

А остальные цифры просто моделируем по тем цифрам, которые есть в наших существующих воронках, предполагая, что они сильно не должны измениться.

Алгоритм продаж. Сначала мы создаем такую карту Jobs-to-be-done, в которой расписываем, кто будет выполнять работу, какие еще есть роли, как эта работа проходит, как эта карта работает — что-то типа customer journey map. Дальше делаем алгоритм, вот его пример реальный — как выявлять потребности, какие надо вопросы задать, как рассказывать про каждую из возможностей, которые на примере пакета маркетинг мы делали, как демонстрировать каждую из возможностей.

Дальше. Если все хорошо, если алгоритм продаж рабочий, то мы переходим к любимой всеми нами стадии — наконец-то, можно запилить новую классную фичу. Здесь создаем решение, которое дальше будет предоставлять. Здесь все просто. Продакт менеджер с командой RND за это отвечает. После того, как MVP готово с тем пользователями, с которыми закоммитились, и которых мы привлекли через маркетинговое привлечение на втором шаге, мы должны понять, что та ценность, о которой мы заявляли вначале, действительно получена клиентом и получена именно та. То есть не какая-то другая, в другом объеме, что потом нам может повлиять на все наше привлечение, то есть если ценность не дополучена, мы должны понять, почему.

Здесь критериями перехода является то, что ценность получили и ее смогли оцифровать. То есть сколько заработал клиент или сколько он сэкономил от использования нашего продукта. Эти же данные после того, как человек использовал, мы используем как кейсы и добавляем в алгоритм продаж. Понятно, когда менеджер по продажам разговаривает с клиентом, он может спокойно в этих кейсах ориентироваться и говорить — компании из вашего сегмента, такие-то такие-то, уже использовали это решение и получили столько-то тысяч рублей, миллионов рублей.

Здесь продажи заканчиваются получением денег. Мы понимаем, какой процесс продажи понимаем средний чек, понимаем, сколько у нас длится в среднем наша сделка, и понимаем срок завершения пилота. Здесь также у нас работает специалист от команды роста и продакт-менеджер с ним.

Здесь будет какой-то пример тоже в виде кейса. Здесь заканчивается наша стадия дискавери и дальше мы переходим к масштабированию. До перехода к масштабированию у нас есть ценностное предложение, у нас есть понимание, какие вопросы задавать, чтобы вывести клиента на проблему. Мы понимаем, как демонстрировать решение, какая ценовая политика, какие кейсы есть в компании, которые уже использовали продукты и получили ценность. Показатели по воронке продаж.

Дальше мы переходим уже к масштабированию. Здесь у нас есть обучение. То есть мы здесь должны передать знания, новые возможности. В процессе продажи убедиться, что эти знания усвоены. Какие критерии перехода? Продакт проводит обучение, мы создаем курс, делаем по нему обязательно аттестацию. Здесь у нас участвует специалист команды роста и отдел обучения. Курсы мы создаем на своей собственной платформе, на We.Study. Так выглядит, например, курс по пакету маркетинг. Есть описание все необходимое — картинки, гифочки, видосики. Дальше есть тестирование, в котором мы должны понять, усвоил менеджер или нет. Пока все тестирование сдадут, есть аттестация, переаттестация. Пока тестирование не сдашь, ты страдаешь и проходишь этот курс несколько раз.

Далее есть стадия подготовки масштабирования, цель которой — подготовить всю операционку для успешного запуска продукта и аналитики этого запуска. Здесь какие критерии перехода — в CRM мы создаем все необходимые опции, убеждаемся, что эти опции подключаются, отключаются, в продукте все работает корректно. Мы создаем воронки, по которым мы будем отслеживать, которые будут наливаться — там лиды из существующих или из маркетинга и отработать все стадии.

Есть юридическое описание продукта. Обязательно надо помнить, что помимо просто того, что мы все запустили, есть юридическое обоснование, которое находится в договорах, чтобы какой-то клиент нас не подтянул за то, что мы что-то не указали или указали некорректно.

И готовы все маркетинговые материалы. Презентации, кейсы, оформленные красиво с картиночками, должны быть. Здесь опять же руководит эти специалист команды роста, подключая маркетинговую команду и подключая коллег из CRM.

Далее, когда у нас все готово, мы запускаем маркетинг. Наша здесь цель — настроить маркетинг и проверить, что экономика нашего привлечения внешнего, по крайней мере, не хуже, а желательно и лучше, чем экономика привлечения на базовый продукт.

Мы сначала определяем список каналов активности офферов, которые мы проверяли еще на втором этапе, определяем метрики успеха, вносим изменения на сайт маркетинговые материалы. И венцом этой работы, подтверждением мы считаем, что мы привлекли 10 over qualified лидов, посмотрели на метрики — значит, все хорошо. Здесь у нас работает опять же маркетинг специалист команды роста. Еще раз маркетинг, да, дважды маркетинг.

Предпоследним этапом является получение десяти продаж на масштабировании. Здесь наша цель — напомню, мы все еще находимся в продукте, никуда это еще ушло, все еще в продуктовой разработке — убедиться, что процесс привлечения продаж работает, экономика не отличается от запланированной. Критерии переходи достаточно простые. Есть 10 продаж, получили деньги, послушали пять звонков, понимаем, что менеджеры применяют регламент и полученные знания, применяют этот алгоритм продаж, все метрики сходятся — маркетинга, продаж, продукта. Опять же здесь специалист команды роста работает над этим, подключая продакт менеджера.

И если у нас все хорошо, то мы через два месяца возвращаемся к этой гипотезе, понимаем, как мы движемся относительно показателей, смотрим, сходятся ли все метрики. Если не сходятся, то мы можем эту гипотезу заново запустить на круг нашей трекшн-карты. То есть опять у нас встает в начало трекшн-карты и обязательно проходит все те же самые шаги. Так мы понимаем, надо ли нам дорабатывать MVP наше до MVP 2, нужно ли нам вносить какие-то изменения в маркетинг, нужно ли нам вносить какие-то изменения в алгоритм продаж.

И только после этого продакт может расслабиться на короткий промежуток времени, до того момента, как он перешел к следующей гипотезе, и чуть-чуть передохнуть. Только тут мы считаем, что мы закончили валидацию гипотезы и запустили ее в продакшен.

Несколько правил, которые мы используем. Нельзя прыгать со стадии на стадию за редким исключением. Иногда, конечно, можно, но нельзя делать, например, MVP до того момента, пока мы не перепрыгнули проблему. В нашей трекшн-карте, когда мы прошли этап, мы обязательно заполняем квадрат результатами. То есть в ячеечку мы вписываем, что мы сделали и какие результаты получили. В конце трекшн-карты все ячейки должны быть заполнены. Это и есть один из артефактов, в котором можно посмотреть, что мы делали на каждой стадии. Позиция, в которой мы находимся, отмечается красным цветом, и можно поэтому, быстро взглянув на трекшн-карту, понять, какие сегменты у нас, какие гипотезы в какой стадии находятся.

Здесь в этом процессе очень важен менеджмент. Во время еженедельной синхронизации — мы в этом процессе работаем по еженедельным каденциям — мы должны ответить на вопрос, какое ограничение, какое узкое место нам мешает перейти в следующую ячейку. То есть каждую неделю мы много времени тратим на то, чтобы определить, что нам надо сделать, чтобы передвинуться в следующий шаг. И все наши действия, которые мы будем делать на следующей неделе, будут направлены на расшитие этого ограничения, расшитие этого узкого места. По Голдратту все и по теории ограничений. И план на неделю конкретно на результат по расшитию этого участка.

Надо не забывать, что у каждого инструмента есть свои ограничения. Этот инструмент мы используем только в том случае, если в той гипотезе, которую мы проверяем, мы ожидаем какую-то финансовую отдачу, какой-то финансовый результат. Мы не проверяем по этому процессу небольшие доработки, какие-то баги, UX-штуки, чтобы не усложнять себе жизнь

Какие результаты мы получили со времени запуска? Результаты — запускать такой процесс больно, много кросс-командного, кросс-функционального, кросс-департаментного взаимодействия. Нас очень спасло, что мы смогли взять отдельного человека, который помогает продакту именно с процессом масштабирования. Мы не буксуем, мы не тратим кучу времени на то, чтобы вместо того, чтобы проверять новые гипотезы, копаться, копаться, копаться в этой операционке, в прослушивании звонков, в воронках.

Мы смогли проверить. Не так давно мы этот процесс запустили, семь гипотез функциональности мы запустили и две гипотезы убили на тех этапах, которые мы не делали раньше, уже после нашей валидации проблемы. Также мы проверяем по этой штуке гипотезы продуктов, и один у нас дошел до стадии подтверждения ценности, один мы смогли убить, два пока находятся в проверках.

Напомню еще раз, как выглядит этот процесс на картинке, и какие в него стадии входят. Отмечу, что масштабирование — это очень важный этап, много операционки, и чаще всего он не случится по себе. Если мы ограничиваемся тем, что мы проверили решение на пользователях, рассказали что-то нашим продажам и ждем, что само по себе все заработает. Нет, не заработает. На выходе из этапа исследований мы должны получить все необходимые артефакты, алгоритмы продаж, ожидаемые конверсии, кейсы клиентов — все, что нужно для того, чтобы мы могли масштабироваться, чтобы менеджер по продажам мог работать с этим, не будучи экспертом, погруженным на 100% в то, что делает продукт.

Цель каждой недели — переход в следующий квадрат трекшн-карты. Необходимо выявлять узкие места для перехода и измеримые ставить цели на неделю, которую мы формулируем в формате результатов. То есть целью не должен быть процесс. Целью должно быть то, что мы сделали что-то, а не делаем, будем делать и все остальное.