Когда у продукта нет большого количества пользователей и сложившихся сценариев, проводить эксперименты и ошибаться — не страшно. Пользователи простят, коллеги потерпят. В энтерпрайзе все сложнее: каждая попытка поменять что-то в продукте может вызвать негодование пользователей или поломать текущие процессы смежным подразделениям.
Павел Лоуцкер, руководитель команды роста некредитных продуктов в «Райффайзенбанке», рассказал, какие эксперименты проводят в крупных банках, как договариваются с отделами, чьи показатели могут обвалиться на время тестирования новых фич и сценариев и каким образом ухудшающие эксперименты помогают фокусироваться на самых важных гипотезах.
С одной стороны у «Райффайзенбанка» есть задача расти и проводить эксперименты, а с другой — есть некоторые рамки, потому что мы все-таки крупная компания. Если бы мы развивали обычное развлекательное приложение — например, что-то связанное с масками, то могли бы проводить эксперименты хоть каждый день: у нас практически не было бы рисков, мы могли бы менять контент, оформление, методы и стиль коммуникации. В общем, делать практически что угодно. И худшее, что бы с нами могло произойти — упадет конверсия или приложение временно выпилят из сторов.
В банке рисков гораздо больше — и они серьезнее. Например, у нас есть специальные подразделения, которые отвечают за то, чтобы продукты банка не нарушали законодательство, а мы правильно работали с рисками: это юристы, compliance и так далее. Когда мы дизайним эксперименты, нам нужно не только сформировать гипотезу и придумать, как проверить ее дешево и быстро, но и договориться со всеми смежными командами, чтобы эксперимент вообще мог состояться.
Вовлекать всех в эксперименты
Для того, чтобы конверсия в «разрешенные эксперименты» была выше, у нас есть свои хаки. И самый главный — сделать так, чтобы эксперименты не «пугали» людей и в них было вовлечено подавляющее большинство команд.
Простой пример: у нас есть какой-то полуавтоматический процесс — та же обработка заявок. Человек оставляет заявку на выпуск дебетовой карты, мы ее обрабатываем, перезваниваем ему и говорим, что все хорошо. В эту простую операцию вовлечено много команд: у них есть соглашения об уровне услуг (SLA) и они хотят, чтобы он максимально корректно, комфортно и быстро получил свой продукт.
У всех команд, стримов или доменов есть свои OKR. И хотя эти OKR связаны между собой, они могут отличаться. Например, у сервисных команд OKR в первую очередь рассчитаны на на скорость и качество поддержки, измерение NPS. Иногда, проводя ухудшающие эксперименты (а их приходится проводить) — мы осознанно на некоторое время роняем какую-то метрику. И если не предупредить команды, которые коммитятся в эту метрику, они, во-первых, будут в принципе против экспериментов, а во-вторых, просто не захотят в них активно участвовать.
Поэтому мы приходим и открыто говорим с ними: «Ребята, к сожалению, в ближайшие две недели мы увеличим время обработки заявки в два раза. Понимаем, что это плохо, но это только на 14 дней. Если у вас есть какие-то беспокойства, давайте пообщаемся». В этот момент приходится включать психолога: «Вас это беспокоит? Хотите об этом поговорить?». Такое открытое общение позволяет снять напряжение и не «похоронить» чужие OKR.
Есть и еще один классный прием. Мы создали большой чат в Slack — в нем мы рассказываем, что и как мы будем проводить, и всегда делимся результатами. А еще там есть тотализатор: любой сотрудник банка может сделать ставку на результат эксперимента, и если он окажется прав, то получит приз. Так с помощью геймификации мы вовлекаем в эксперимент максимальное количество людей.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Ухудшающие тесты
В любом сложном продукте всегда есть много вещей, которые хочется улучшить. Где-то мы хотим увеличить конверсию, где-то сделать клиентский опыт еще приятнее, где-то — более точно донести свою ценность. Но есть части продукта, которые улучшать бессмысленно, потому что количество усилий, которые придется потратить, непропорциональны результату. В таких случаях уместны ухудшающие тесты — и мне кажется, это очень недооцененный метод.
Например, вам доставляют пластиковую карту в конверте. Внутри конверта — красивая листовка, такой бумажный аналог онбординга, дорожка из онлайна в офлайн. И если спросить любого сотрудника банка или клиента, можно ли улучшить эту листовку, они обязательно дадут кучу советов: графика в целом не очень, в одном месте текста много, а в другом — слишком мало.
В таком случае можно провести элементарный ухудшающий эксперимент — убрать листовку и понять, насколько она важна и что произойдет с клиентами. И если мы поймем, что практически ничего не изменилось, возможно, нам стоит сфокусироваться на оптимизации других процессов и частей продукта. На мой взгляд, такие тесты в первую очередь помогают не искать точки роста, а фокусироваться на действительно важном.
И это полезно — ведь у продуктовых команд ресурсы всегда ограничены, а интересных инициатив много и двигаться надо очень быстро. Проблем с идеями нет практически ни у кого, зато почти у всех есть проблемы с ресурсами, реализацией, скоростью и разработкой. Ухудшающие тесты как раз позволяют осознанно и опираясь на данные сказать: «Это мы пока не трогаем. Да, здесь все не идеально, однако мы займемся другими, более важными, вещами».
В ухудшающих тестах тоже важно вовлечение сотрудников — тем же линейным специалистам надо объяснить, почему в ближайшую неделю им придется испытывать неудобства. Например, у нас есть какой-то автоматизированный процесс, а в ходе теста линейным сотрудникам придется вручную обработать 600 заявок для статистически значимого результата. И приходится объяснять: «Извините, ребята, но завтра с 23:00 вам придет 600 документов, которые нужно обработать вручную за выходные».
Если не объяснить, для чего мы проводим эксперимент, люди будут демотивированы, опечалены, а работа будет проведена плохо. В общем, необходимо, чтобы все сотрудники банка, от работы которых зависят нужные метрики, понимали, что мы делаем и что можем получить в итоге.
Здесь очень важно снимать тревожность, а чтобы делать это эффективно, нужно всегда задавать определенные рамки и ограничения. Люди готовы на плохой процесс, на не очень приятную работу, если понимают, когда она завершится и для чего это нужно компании. Если те самые 600 документов, которые надо заполнять и обрабатывать вручную, будут приходить каждый день и мы не обозначим, когда их поток прекратится — это плохо. А если мы четко определяем, что эксперимент будет длиться неделю, об этом уже можно спокойно сообщать коллегам.
Плюс наша команда роста всегда открыта к любым экспериментам — и это очень хорошо работает: «Сейчас мы проводим такие-то тесты для такой-то цели. Но если у вас есть другие идеи, приходите к нам, обсудим. Если вашу идею можно проверить и мы еще не проверяли чего-то подобного — давайте попробуем». Это тоже вовлекает людей.
Эксперименты «на коленке»
Изначально я работал не в банковской среде и привык собирать эксперименты из каких-то подручных материалов, по концепции Fail Fast (ошибайся быстро). Предположим, у нас есть некоторое количество процессов, которые до сих пор не автоматизированы. Автоматизация обычно дает хороший прирост продуктивности, но ее внедрение — длительный и сложный процесс. И прежде чем начать большой проект по автоматизации, можно ее симулировать — договориться с частью сотрудников, чтобы они вручную «автоматизировали» нужные операции.
Например, еще недавно нашим клиентам приходилось ждать, пока свяжутся номер карточки и номер счета. Это было не очень комфортно: вы уже получили карту и хотите проводить транзакции, привязать ее к Apple или Google Pay и так далее, но вынуждены ждать. Прежде чем автоматизировать этот процесс мы провели очень простой тест: создали чат в WhatsApp, где курьеры связывались с командой поддержки и максимально оперативно привязывали карту к счету — так нужная нам выборка клиентов могла использовать карту сразу при получении.
Конечно, это была фейковая автоматизация. Но она дала нам возможность понять, какой прирост конверсии мы получим, как изменятся ощущения клиента. Это помогло приоритизировать одни пользовательские истории относительно других.
Баланс между конверсией и возвратом клиентов
Банковские продукты — довольно сложные и многоуровневые. И в большинстве случаев мы работаем с LTV. Но когда речь идет о росте и начале пользовательского пути, мы часто оптимизируем скорость и стартовые условия для клиентов. И здесь нужен четкий баланс.
Например, как банк мы стараемся дать клиенту максимально интересные условия, но при этом не уронить показатели LTV. Казалось бы, на старте мы можем включить х10 кэшбек и привлечь кучу клиентов. Однако после этого нам придется его выключить, и это будет очень плохой клиентский опыт. А стратегия или концепция нашего банка звучит как «ПЧК» — просто, четко, компетентно, то есть очень простые условия, над которыми не надо думать. Например, наш флагманский продукт — 1,5% кешбэка, а значит, клиенту не надо ничего додумывать и включать сложную математику — он просто держит в голове, что у него всегда есть скидка 1,5% и больше ни о чем не думает.
Да, в моменте мы можем значительно улучшить условия: и начало воронки будет выглядеть восхитительно — суперконверсия, дешевый трафик. Но потом эти улучшения придется откатить и с точки зрения LTV картина будет так себе.
Зато для увеличения скорости какого-то процесса мы можем нанять дополнительных сотрудников или даже привлечь подрядчиков. Это будет дорого, зато сокращение времени ожидания так увеличит конверсию, что улучшенный процесс будет очень выгодным и для нас, и для клиентов.
Рынок банковских услуг сейчас перегрет и привлекать новых клиентов не так просто. Поэтому мы вместе с командой маркетинга проводим много экспериментов. Например, мы не можем прямо сейчас значительно улучшить условия по какому-то из продуктов, зато вполне можно провести ряд тестов, которые покажут, есть ли вообще у клиентов спрос на обновленные продукты.
Еще один пример из практики. В какой-то момент мы подумали, что москвичам было бы удобно получать свои продукты в семь утра, перед работой. Или в 23:00 — вечером. Но у нас не было возможности вывести на линию курьеров, которые бы доставляли продукты в это время. И мы просто добавили тайм-слоты, которые клиенты могли выбрать, а потом посмотрели на конверсию. Конечно, со всеми клиентами, которые выбрали новые там-слоты, мы пообщались, объяснили ситуацию и, кажется, они остались довольны.
Исследования и разочарование клиентов
Любой эксперимент мы всегда начинаем с исследований, потому что проводить много исследований — намного дешевле, чем отдавать все идеи в разработку. И если в рамках исследования какие-то гипотезы подтверждаются, мы понимаем, что нужно людям.
Например, как мы сделали свой флагманский продукт — те самые 1,5% кэшбэка? Мы поняли, что люди хотят «25 млрд процентов кешбека», которые можно тратить у кучи разных партнеров — это звучит привлекательно. А с другой стороны, люди просто не хотят об этом задумываться и проводить в голове какие-то хитрые вычисления.
Когда ты делаешь банковский продукт, то кажется, что люди 90% времени думают про банки. На самом же деле, банк, как и любой другой продукт или бренд, занимает очень незначительную часть времени в жизни человека. И иногда лучшее, что мы можем сделать — это как раз сделать так, чтобы человек о нас не думал, не волновался, не переживал. То есть снять тревожность.
И очень важно не разочаровать клиента на всем протяжении его путешествия внутри продукта. Можно приносить ему радость 95% времени, но потом случится один небольшой факап и клиент отвернется от вас. Поэтому наша задача — сделать так, чтобы на каждом этапе ему было комфортно. Он приходит в отделение — и ему не приходится ждать, стоять в длинной очереди, он сразу получает то, что хочет. Он открывает приложение — и оно работает исправно. Он читает описания продуктов на сайте, заказывает их — и они работают именно так, как описано, не ломают ожидания.
Положительный клиентский опыт накапливается и начинают работать в виде реферальных механик или реферальных циклов органического роста. А видя органический цикл роста, мы можем на его основе построить какие-то дополнительные фичи. Причем иногда новый продукт для клиента — это не новый продукт для банка и разработки. Можно просто переупаковать текущее предложение: так оно будет выглядеть чем-то новым и может даже вызвать wow-эффект.
«Райффайзенбанк», как и многие другие банки, достаточно быстро закрывает не очень успешные продукты, потому что фокусироваться на нескольких десятках продуктов действительно очень сложно — причем и команде банка, и клиентам. Вы рассказываете клиенту, что у вас есть лучший кредитный продукт, а после этого показываете 10 разных «лучших продуктов». Такая тактика не сработает — именно поэтому так важно держать фокус.
А еще многочисленные продукты неизбежно порождают пересечения во время проверки гипотез. В моей практике до «Райффайзенбанка» были случаи, когда одна команда экспериментирует на аудитории, а вторая — в интерфейсе, а в итоге на выходе и там, и там получается каша. Однако в «Райффайзене» есть четко прописанные синки, на которых мы обсуждаем долгосрочные и краткосрочные цели. Это также позволяет сфокусироваться только на главном.
Главный инсайт из банковской сферы
Как-то раз мы изучали один сегмент и думали о том, как заинтересовать этих клиентов. Перебрали много вариантов: повышенный кешбек, лучший кредитный оффер. В какой-то момент мы поняли, что некоторым сегментам вообще не важен банк — и у нас не получится заинтересовать их напрямую, предлагая дополнительные сервисы. Чтобы они преодолели барьер и перешли из одного банка в другой, должны произойти еще какие-то изменения.
Для таких сегментов стоимость переключения будет кратно выше, чем у остальных — и это очень интересные кейсы. Мне казалось, если мы крутим рекламу и говорим: «У вас был 1%, а станет 2%» — то мы очевидно выигрываем у предложений конкурентов, ведь 2% точно лучше, чем 1%. В итоге я пришел к выводу, что надо предвосхищать ожидания клиентов: «Мы не просто выдадим вам новую карту с условиями — нет, мы закроем все ваши финансовые потребности под ключ».
Выводы
- Продуктовые эксперименты в энтерпрайзе — это всегда высокие репутационные и юридические риски, поэтому каждый эксперимент приходится согласовывать с большим количеством стейкхолдеров.
- Ухудшающие тесты — отличный способ отбросить неважные фичи и сосредоточиться на том, что действительно принесет ценность клиентам и продукту.
- Если сотрудники из других отделов не вовлечены в эксперименты, не хотят в них участвовать и видят в них только угрозу и лишнюю работу, проверка гипотез застопорится. Поэтому важно открыто и заботливо обсуждать с ними детали эксперимента, доносить цели и возможные результаты, предупреждать о падении метрик или дискомфорте на время эксперимента.
- Самое лучшее — когда клиенту не приходится лишний раз задумываться о том, как работает ваш продукт. Из этой гипотезы родилось флагманское предложение «Райффайзенбанка» — «Кэшбэк-карта 1,5% на всё!».
- Увеличить конверсию в использование продукта — относительно несложно. Всегда можно добавить многочисленные стартовые бонусы. правда, чтобы экономика сошлась, через некоторое время их придется отменить — и это спровоцирует волну оттока клиентов. Поэтому важно искать и соблюдать баланс между привлекательностью начального предложения и последующими условиями.
