Чтобы успешно запускать продукты в условиях высоких репутационных рисков, надо разобраться, какие типы рисков существуют и как следует действовать, чтобы их избежать.
Риск №1. Большой трафик
Если у вас массовый сервис или большие рекламные вложения, то ошибка может привести к очень серьезным последствиям из-за эффекта масштаба. Есть вероятность просесть по выручке, лидам или уронить другие ключевые метрики, на восстановление которых уйдет в разы больше времени.
В этом случае нужно обязательно раскатывать тестируемое решение на какой-то сегмент или небольшой процент пользователей. Идеально, если у вас есть платформа для A/B-тестов, которая позволяет гибко управлять настройками. Если такой платформы нет, все равно существует множество вариантов для теста.
Например, для лендинга, на который льется рекламный трафик, удобно создать несколько страниц и на них сплитить платный трафик. Причем на основную версию вести большую часть посетителей, а на тестовую — минимальный объем трафика, достаточный для быстрого получения репрезентативных результатов. Так вам не придется долго ждать, пока накопится необходимая база, и риски, связанные с падением конверсии, будут сведены к минимуму.
Если это тестирование нового раздела сайта, то стоит делать релиз на один регион. Так вы получите репрезентативную выборку, большой трафик, но при этом не будете рисковать всей базой пользователей по стране или миру.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Кейс: новая навигация на сайте
Навигация — невероятно тонкая материя. Можно долго ее проверять на качественных исследованиях: и с помощью карточной сортировки, и тестированием на прототипах — но пока пользователи не попробуют навигацию в реальной жизни, вы до конца не поймете, удачное решение у вас получилось или нет.
Поэтому, когда мы полностью переделывали навигацию сайта megafon.ru, то решили сделать тест на региональной версии. Заранее выбрали два очень похожих региона — по объему аудитории, поведению, распределению трафика по разделам, ключевым пользовательским путям. После этого мы запустили тестирование новой навигации на один из регионов и отслеживали изменение показателей по сравнению с контрольным регионом.
Уже через 2 недели мы увидели рост посещаемости нескольких ключевых разделов, но при этом также заметили обвал показателей по разделам, которые не считали фокусными. Мы оперативно внесли правки, убедились, что падение метрик в этих разделах прекратилось, и уже после этого раскатили новую навигацию на всех пользователей.
Если же речь идет о приложении и вы выпускаете функционал, связанный с риском, всегда можно сделать отдельную сборку с крупной фичей и выкатывать ее на какой-то процент пользователей в сторах.
Кейс: отложенная авторизация
Два месяца назад мы зарелизили отложенную авторизацию в мобильном приложении МегаФона — возможность входа в приложение без пароля или биометрии. Приложение запрашивает их, только если пользователь хочет произвести какое-то действие со счетом или посмотреть чувствительные данные. Это было фундаментальное изменение важнейшей функциональности приложения — механизма авторизации, поэтому, несмотря на все тесты, мы решили выкатывать релиз на одной платформе и поэтапно — на определенный процент аудитории. Параллельно следили за дашбордами, которые отображают количество ошибок в приложении, и за жалобами в каналах обслуживания.
Каждый день мы увеличивали процент аудитории, которая могла установить новый билд, и через 10 дней обновление стало доступно всем абонентам МегаФона.
Риск №2. Постоянная аудитория со сформированной привычкой
Если у вас зрелый продукт с постоянной аудиторией, которая привыкла к ежедневному или еженедельному использованию сервиса, то она может воспринять новую функциональность в штыки. И чем чаще вашим сервисом пользуются, тем больше будет негатива и несогласия с изменениями.
Когда на привычное для пользователей пространство мы начинаем выкатывать даже незначительные изменения, посыпаться может все. Принцип «сделать 10 экспериментов и пусть хотя бы один выстрелит» в большом зрелом продукте не работает — из-за эффекта масштаба будет больше негатива, чем выгоды. В подобных продуктах работает правило «семь раз отмерь, один отрежь». Такой подход помогает достичь результата и минимизировать риски.
В этом случае без качественных исследований никак не обойтись. Важно провести исследование потребностей и болей на старте, понять, что сейчас действительно раздражает вашу аудиторию, чего не хватает, где возникают проблемы. А когда решение (ответ на боли пользователей) придумано, надо обязательно провести юзабилити-тестирование на прототипах. Это позволит нивелировать самые крупные риски. Однако останется еще множество более мелких рисков.
Чтобы их избежать, опять-таки надо делать релиз на часть пользователей. Причем в этом случае особенно важно следить не только за количественными показателями, но и за качественными. Потому что может возникнуть ситуация, когда количественные метрики будут расти, но решение пользователям не понравится. В итоге они будут испытывать негатив и в долгую вы проиграете — получете снижение частотности использования или даже отток.
Чтобы не пропустить этот момент, следите за жалобами в каналах обслуживания, отзывами в сторах и соцсетях. Плюс через некоторое время обязательно сделайте опрос тестовой аудитории, получите CSI (Customer satisfaction index) новой фичи и продукта в целом после обновления.
Кейс: новая версия мобильного приложения «МегаФона»
В декабре 2019 года мы запустили новое мобильное приложение МегаФон. Огромное обновление — больше половины приложения делали с нуля. Чтобы минимизировать риски, мы сделали первичный запуск через Huawei AppGallery, 3 недели следили за ошибками, обращаемостью и фиксили баги. А затем начали последовательную раскатку по процентам в Google Play и Appstore. В результате на полный релиз у нас ушел целый месяц.
И мы невероятно выиграли от такого длительного процесса, поскольку нашли нескольких значимых ошибок и успели их пофиксить до релиза на всех пользователей. Но самое главное — мы смогли нивелировать риск, который возник из-за отсутствия одной важной фичи.
Перед запуском у нас возникла проблема: три фичи из старого приложения никак не влезали в релиз. Больше 100 старых функций мы в него «запихнули», пересобрали и улучшили, добавили множество новых фич, но конкретно эти три — никак не влезали. Это были две полумертвые функции и виджет с балансом и остатками.
Мы посмотрели, как виджет влияет на наши метрики, увидели, что влияния на ключевые показатели у него практически нет, и решили запускаться без него — подумали, что добавим его в следующем релизе.
И как только мы сделали первый релиз в Huawei AppGallery на несколько десятков тысяч пользователей, то тут же получили такую огромную волну негатива, что стало понятно: надо менять приоритеты и выходить в массовый релиз уже с виджетом. Мы переиграли планирование и смогли за 2 недели реализовать этот функционал, благодаря чему к моменту выкатки в Google Play и Appstore виджет стал доступен, а мы не получили волну хейта от пользователей. Учитывая тенденцию в AppGallery, приложение получило бы настолько серьезное падение оценки в других сторах, что отыгрывать его пришлось бы около года.
Риск №3. Репутация бренда
Этот тип риска может быть связан с существенными ошибками в работе сервиса — тогда речь не об экспериментах, а о зрелых процессах разработки и Q&A, контроле за релизами. Также этот риск часто связан с дерзостью в коммуникации и сознательной провокацией. Тогда это касается коммуникационной политики бренда и процесса ее контроля.
Тестировать провокационные решения, которые могут нанести существенный репутационный ущерб компании, я бы не рекомендовал. Почти наверняка выигрыш от успешного запуска будет ощутимо меньше, чем репутационные издержки, которые могут возникнуть при неудачном стечении обстоятельств.
Достаточно вспомнить неудачные кампании последних лет (Reebok, Тануки и т.д.), после которых брендам приходилось много извиняться, а многие постоянные клиенты теряли лояльность к компании. Исключение тут — те бренды, которые изначально строят свою идентичность на юморе на гране фола и провокациях. Например, Aviasales и Burger King.
Можно было бы еще поговорить о том, как и когда стоит выбирать такой путь, и где тот баланс, который, с одной стороны, позволит не скатиться в пошлость и оскорбления, а с другой — в беззубый юмор. Но это уже совсем другая история 🙂
