В продуктах нет счастья. Счастье — это слишком сильное чувство. За редким исключением продукт не сделает пользователя счастливым. Зато продукт может сделать так, чтобы пользователь почувствовал себя удовлетворенным. То есть выполнить обещанное, ожидаемое — или, в лучшем случае, чуть-чуть больше и лучше, чем ожидалось. Поэтому мы будем говорить про метрики удовлетворенности, а не счастья, увы 🙂
Какими бывают методики оценки удовлетворенности пользователей?
Основные методики относятся к опросным методам. Есть и другие, например, распознавание эмоций по лицу, пульсу, нейроисследования. Но такие методы пока не заменили опросы — их слишком сложно реализовать, при этом в привязке эмоций к конкретному продукту они не очень точны.
Самый распространенный метод — это «звездочки», пятибалльная оценка. Или простой вопрос — насколько человеку понравился продукт, опыт взаимодействия с ним. Такой замер называется CSAT (Customer Satisfaction) или TOP2 Liking. Вместо звездочек еще используют смайлики, которые иногда упрощают до 4-х или 3-х значений. Например, в POS-терминалах. Но суть одна — понравилось или нет.
Из раскрученных подходов можно вспомнить NPS (Net Promoter Score) — насколько пользователь готов рекомендовать продукт своим знакомым. Показатель разработала и популяризировала консалтинговая компания Bain. Намерение рекомендовать оценивается по 11-балльной шкале (от 0 до 10), а сам индекс отражает баланс между долей промоутеров (9−10 баллов) и детракторов (0−6 баллов).
Используют и более сложные, «непрямые» показатели. Вот несколько из них.
CSI (Customer satisfaction index). Он состоит из трех вопросов, а удовлетворенность рассчитывается по модели соотнесения ожиданий, полученной пользы и качества. Частный случай CSI — American CSI.
TRIM. Еще один индекс, который основывается на четырех косвенных вопросах: общая оценка опыта, намерение рекомендовать продукт, использовать в дальнейшем, преимущество перед альтернативами.
Есть еще ряд косвенных показателей удовлетворенности, которые используются в сфере UX и оценки UI. SUS — System Usability Score или его упрощенные аналоги UMUX (Usability Metric for User Experience), SUM (Single Usability Metric), SUPR-Q и т.д. В их основе — декларативная оценка удовлетворенности и еще ряд объясняющих показателей.
У каждого подхода есть плюсы и минусы, область применения. Но я считаю, что нет особого смысла замерять сразу все эти метрики.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Как проводятся эти оценки?
Все эти подходы относятся к опросным методам, и специализированных инструментов для них нет. У большинства метрик открытые протоколы (анкеты с формулировками) и каждый может ими воспользоваться, а у некоторых инструментов есть даже стандартизированные анкеты для сбора показателей. Например готовая оценка в Hotjar — сервисе сбора обратной связи с сайта. Я встречал калькуляторы для обработки результатов таких метрик, но по большому счету, начинающий аналитик с навыками работы в excel без особого труда справится с ними.
Для сложных показателей, таких как CSI или TRIM, нужно использовать специальные аналитические подходы. И поскольку это «закрытые» методики, своего рода black box, то анализом результатов занимаются их «владельцы».
Подходы к замерам тоже могут отличаться. Например, можно проводить опрос об удовлетворенности в моменте или сразу после использования, а можно — через некоторое время. Еще данные могут замеряться анонимно и от лица компании, дистанционно и лично.
Важно: подход к измерению влияет на результаты.
Чем отличаются методики измерения «счастья»
Отличия методик — в сути и прикладном значении. Недавно Google предпринял попытку систематизировать эти и другие метрики, результатом стал целый фреймворк — Heart. В статье об этом фреймворке есть, к чему придраться — например, к рекомендации замерять Actual NPS, но в целом материал очень полезный и обстоятельный. Сам я узнал Heart от коллеги по цеху — Антона Марцена из Flo. У него тоже есть отличная статья про разные метрики. Вот, например, схема фреймворка Heart из его статьи.
Перед использованием метрик прежде всего нужно ответить на вопрос — а зачем мы что-то измеряем и что хотим получить или решить? Я на практике использовал, наверное, почти все упомянутые индексы, кроме, может быть, CSI. И по большому счету, для измерения удовлетворенности не имеет значения конкретный индекс, потому что почти во всех метриках есть вопрос про «понравилось» — за исключением NPS, который сразу идет чуть глубже.
Однозначный плюс использования общепринятых метрик — возможность сравнения с общим полем, нормативной базой.
— Петька, приборы!
— 9!
И если Василий Иваныч впал в ступор, то мы можем разобраться, насколько хорошо или плохо это «9», сравнив показатель с бенчмарком или нормами. Такие базы норм есть почти для всех показателей. Но в случае с TRIM, например, они «закрыты» (по крайней мере, я не видел открытых данных). Чем распространенней метрика, тем больше сравнительных данных. Естественно, это работает только с открытыми, общедоступными метриками. Я сделал небольшую табличку, которая поможет понять поле метрик.
Для чего и как отслеживать метрики в динамике
Это настоящий must для массовых продуктов с большой клиентской базой, где отдел продаж не может держать плотную связь с каждым клиентом или группой. Иначе даже нет смысла тратить на это время. Мы либо следим за своим здоровьем и ведем трекинг, либо нет.
Частота трекинга зависит от нескольких факторов: рабочие процессы, скорость внедрения изменений и т.п. Мало того, при значительных изменениях в продукте есть смысл проводить и разовые замеры — сразу после выкатки изменений. А вот замеры удовлетворенности исключительно в целях PR я совсем не приветствую.
Самые частые ошибки при измерении индекса удовлетворенности
Некорректное использование инструментов. Некорректные формулировки вопросов или шкал. Часто вижу, что, например, NPS замеряют по 10-балльной шкале. Или используют NPS для оценки какого-то кусочка продукта, области, в которых эта метрика в принципе не применима.
Пример от приятеля, который работает в сервис-центре одного крупного производителя техники. Они начали замерять NPS отдельно для своего подразделения, да еще и привязали к метрике бонусы. В таком контексте это просто нонсенс. При этом спрашивать, удовлетворен ли клиент ремонтом, — вполне нормальная задача. А мне как-то раз звонили после посещения автосервиса — до того, как я забрал машину и убедился, что все починили 🙂 И что я должен был оценить? Какой в этом смысл?
Изменение методики замера. Любое изменение методики может привести к изменению результата, тренд-брейку. То есть результаты разных замеров нельзя будет корректно сравнивать. А сравнимость — это основа замеров таких показателей, потому что нам важно сравнивать и отслеживать эти показатели в динамике, понимать, лучше или хуже сейчас наш сервис, а наш продукт лучше или хуже относительно конкурента и т.д. Абсолютное разовое значение удовлетворенности «в вакууме» не имеет никакого смысла. К важным изменениям методики, которые сильно влияют на сравнимость, я бы отнес изменения в анкете, в выборке опроса, моменте или точке замера.
Измерение без диагностики. Основная задача измерения счастья — контроль ситуации и принятие решений в ситуации, когда все ухудшается или развивается не так хорошо, как мы планировали. Диагностика или дополнительные вопросы по основным направлениям возможных причин неудовлетворенности помогают быстро начать копать в нужном направлении. Да, измерять «пульс» можно без диагностики — это нормально. Но если обнаруживаются важные отклонения от нормы, должен быть способ быстро понять причину этого отклонения, чтобы потом поставить «диагноз».
Измерение только своего продукта. Важно сравнивать себя с конкурентами, потому что на удовлетворенность, а точнее, ее восприятие, могут влиять макрофакторы. Например, показатели удовлетворенности могут падать просто из-за авитаминоза, плохой погоды или каких-то новостей в СМИ. Но такое влияние будет более-менее одинаковым для всех. Измерение и анализ динамики удовлетворенности в сравнении с конкурентами или аналогами поможет более корректно интерпретировать результат и причины изменений. Если индексы падают у всех, надо искать причину во внешней среде.
Некорректная интерпретация. Интерпретация «хорошо/плохо» должна быть основана на адекватном сравнении. Анализ динамики должен учитывать статистически значимые отличия.
Какие решения можно принимать на основе метрик
По сути, с помощью метрик мы получаем ответ, все ли у нас хорошо относительно поставленных целей. В динамике мы можем понять, успеваем мы достичь целей или нет, лучше мы или хуже в сравнении с конкурентом.
Если результаты неудовлетворительны, можно принять два решения:
- Начать поиск причин неудовлетворительного результата.
- Инициировать разработку действий по улучшению ситуации.
Дополнительные диагностические вопросы позволяют определить самые критичные направления, для которых нужно искать пути улучшения, или проблемы, которые нужно решать в первую очередь. Например, после вопроса про удовлетворенность задают дополнительный вопрос — просят пояснить свою оценку. Такие вопросы помогают уточнить причины низкой удовлетворенности, категоризировать их, измерить степень распространенности и расставить приоритеты в работе над улучшениями.
Если показатели удовлетворенности лежат в основе ОКР/KPI-систем (это можно делать, подойдя к вопросу внимательно), то уместно принимать и «кадровые решения» — как бы ни плакали некоторые известные личности из сферы UX 🙂 Более глубоко сами методики опросов мы разобрали в своей методичке.
