Кирилл Улитин, UX-архитектор в «МойОфис», рассказал на конференции ProductSense, как делать полезные для бизнеса опросы, чистить данные в анкетах и легко анализировать открытые вопросы.
По данным опроса 2018 года 62% компаний используют опросы. Но если спросить, кто действительно хочет их использовать, процент будет гораздо ниже. Это проблема восприятия: кто-то где-то провел опрос, который не пойми кто заполнил. Но хотя опросные методы кажутся немодными и они не очень похожи на вездесущий CustDev, которому учат на тренингах, это вполне рабочий инструмент. Просто нужно правильно готовиться, анализировать и обрабатывать результаты.
Подготовительная работа и каналы дистрибуции
Перед началом опроса надо сформулировать цель, наметить гипотезы и определить требования к выборке, как и в любом исследовании. Требования к выборке можно обозначить очень быстро — в ваших гипотезах уже будут фигурировать люди и действия, которые они совершают. Останется только задать ограничения по демографии и сформулировать критерии скрининг-вопросов.
Не надо портить выборку эффектом «уличного фонаря», когда мы ищем не там, где потеряли, а там, где светло. Рассылать опросы туда, где нет целевой аудитории бесполезно. Группы продактов тоже не подходят, если, конечно, вы не делаете продукт именно под них. Ищите места, где обитают ваши пользователи. Это могут быть ваши внутренние пользователи или пользователи вашего сервиса — им можно отправить опросы по имейлу. Еще в интернете есть много тематических сообществ (форумы, группы, чаты). Мы закидываем в них опросы и получается неплохая конверсия.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Экономия на создании опросов
Составлять опрос довольно дорого, поэтому стоит обратить внимание на готовые варианты. Например, стандартные шкалы. Тот же рейтинг NPS — одна из вариаций шкалы Лайкерта. Или основанная на ней же методология Кана. Она использует парные вопросы, чтобы проверить, хотят ли пользователи получить новую фичу. Можно взять и полностью готовый опросник — тот же Standart Usability Scale. Кстати, недавно его перевели ребята из «Юзетикс».
А иногда вообще достаточно просто найти готовое исследование или отчет — их сейчас очень много. Можно поискать на consumerbarometer.com или ResearchGate. Будут полезны и мета-статьи, в которых собраны результаты разных исследований. Найти такую статью — большая удача.
Масштабирование интервью с помощью опросов
Я могу провести интервью максимум с пятью респондентами в день, зато задизайнить опрос и получить 100, 200 и даже больше заполненных анкет — вполне реально. Методика простая: проводим несколько интервью, анализируем ответы, делаем тематический анализ и на этом материале составляем опрос. Такой метод можно использовать как для подготовки опроса, так и для масштабирования интервью.
Опрос с правильно подготовленными вариантами ответа гораздо удобнее как для респондента, так и для исследователя — он сокращает время, которое нужно потратить на заполнение и анализ. Чем проще респонденту заполнить опросник, тем выше будет конверсия. Но всегда нужно помнить про крайний сценарий, когда ни один из вариантов респонденту не подходит.
Иногда лучше совсем не получить ответ на вопрос, чем испортить себе статистику нерелевантными ответами, когда участники выбирают что-то случайным образом. Вообще подводных камней, которые приводят к различным смещениям, довольно много. Я рекомендую глянуть статью на google.research, а еще лучше — пройти курс от Мэрилендского университета на coursera.
Как правильно предлагать проходить опросы в сообществах и социальных сетях?
Структура и важные элементы
Вопросы надо организовывать послойно — сначала приветствие, скрининг-вопросы, вопросы о продукте, а уже потом демография. Есть люди, которые в принципе не раскрывают свои данные: возраст, пол и т.д. И ставить такие вопросы вперед — значит, терять ответы этой подгруппы, а это приводит к смещению выборки.
Респонденты в анкете ведут себя достаточно типично: заходят, прокручивают до конца и возвращаются обратно. Поэтому надо определиться, готовы мы показать человеку сразу все вопросы или каждый вопрос поставим на отдельную страницу/разобьем вопросы на блоки. Если второй вариант, то в опросе должны быть навигация и прогресс-бар.
С прогресс-баром тоже есть нюансы: с одной стороны, он дает пользователю обратную связь, показывает, на сколько процентов вопросов ответил человек, но с другой, если анкета очень большая, прогресс-бар демонстрирует всю тщетность усилий. Так что использовать его лучше в коротких опросниках на 10–15 минут.
Если есть вопросы, в которых можно выбрать несколько вариантов, обязательно надо добавить пункты «Нет ответа» и «Другое». Также полезно добавлять открытые вопросы. Например, их удобно использовать, чтобы уточнить что-то у респондента или получить свободный ответ. Иногда этот ответ может оказаться очень неожиданным. Например, респондент отвечает: «Вот на этот пункт я нажала случайно». Так мы можем проверить респондента и получить более качественные данные.
Тестирование и проблемы опросов
Перед запуском опросы необходимо тестировать. Сделать это несложно: отправьте его какому-нибудь респонденту, подходящему под ЦА, сядьте с ним рядом или попросите расшарить экран и оценивайте, понимает или не понимает он сам опрос и отдельные пункты. После работы над ошибками опрос надо разослать по маленькой выборке — хотя бы по своим коллегам. Это решит две задачи: вы измерите среднее время заполнения опроса и еще раз проверите опрос на ошибки и неточности.
А вот пример большой боли — анкета с ProductCamp. Ее проблема в том, что шкала Лайкерта использована неправильно. В вопросах должно быть нечетное количество ответов, а здесь их — шесть. Плюс эта анкета величиной с многоэтажный дом, и трудно найти человека, который доберется до конца и заполнит ее честно.
Чтобы избежать таких проблем, проводите предварительную фильтрацию. В случае ProductCamp для начала надо узнать, на какие доклады хотел бы пойти респондент, и только потом просить его поставить оценку. Простой пример: прежде чем спросить, для чего люди используют мессенджеры, мы же сначала узнаем, какими мессенджерами человек вообще пользуется.
Инструменты для опросов
Я промониторил предпочтения коллег и получил интересную статистику: самый популярный инструмент — Google Формы. Профессиональные решения сильно отстают. Это печально, потому что в Google Формах нет основных инструментов, которые нужны для качественного опроса.
- Частичная запись. Респонденты могут уйти с половины анкеты — тогда вы просто потеряете все их данные.
- Условная логика. Позволяет в зависимости от выбора респондента открыть дополнительные ответы, чтобы задавать уточняющие вопросы, оптимизировать заполнение анкеты или совсем не задавать вопрос, если он оказывается нерелевантным.
За профессиональные инструменты даже необязательно платить деньги. Да, есть много платных сервисов: TypeForm, SurveyMonkey, SurveyGizmo с очень ограниченной бесплатной версией. Но существует и отличный бесплатный инструмент — self-hosted система LimeSurvey. Это open source-решение: его можно установить на свой сервер и использовать. Дополнительная фишка — в LimeSurvey можно добавлять нестандартную аналитику. Например, подключить вебвизор и смотреть, как респонденты заполняют опрос.
Аналитика и правдивость респондентов
Базовые метрики для аналитики — это количество открывших опрос, IP-адреса, реферальная ссылка, которая покажет, какой источник будет самым эффективным, время старта и окончания опроса. Еще мы ценим возможность подключить любые необходимые функции.
На изображении — наша воронка по последним 20 опросам. 50% людей заполняет опросы, 40% отваливается и еще 10% заполняет опросы частично. Анализируя воронку, можно понять, насколько правильно мы задизайнили опрос, хорошо ли он приносит анкеты и т.д.
Интересное исследование 2017 года об индикаторах смещения ответов в онлайн-опросах показало, что есть связь между временем ответа на вопрос и правдивостью. Чем дольше респондент отвечает на вопрос, тем больше вероятность нечестного ответа. Конечно, такую методологию довольно сложно использовать и ни один существующий инструмент пока не позволяет этого делать достоверно, но можно схитрить.
Например, у меня в одном вопросе стоял видеоролик. Человек должен был посмотреть его и после этого ответить на вопрос. Я изучил аналитику по времени ответа на этот вопрос и отследил, что часть респондентов дает ответы гораздо раньше, чем заканчивается ролик. Это навело меня на мысль, как можно проанализировать заполнение анкеты по времени.
Я поделил респондентов на группы по времени, которое они тратят на разные секции анкеты. По центру в нем была медиана, ниже — первый квартиль, сверху — третий квартиль. Все ответы ниже первого квартиля с большой долей вероятности недостоверны. И таких людей может быть 10−15%. С помощью графика, привязанного ко времени заполнения анкет, можно почистить данные, чтобы получить более качественные результаты.
Что касается анализа, есть две новости — хорошая и плохая. Плохая новость в том, что формулы для анализа предела погрешности и доверительных интервалов довольно сложные и требуют глубокого погружения. А хорошая — выборки из интернета нельзя анализировать с помощью таких формул. Потому что они — невероятностные (см. доклад AAPOR, Американской ассоциации исследователей общественного мнения), а формулы ориентированы именно на вероятностные выборки.
Анализ результатов
Любые данные из опроса надо вначале привязать к разным сегментам пользователей. Простой пример — использование аудиосообщений в мессенджере. Вариантов ответа два: люди либо используют их, либо не используют. И если бы я построил среднее значение по всем респондентам, получил бы 20–30% положительных ответов.
Но если сегментировать респондентов на тех, кто занимает руководящую должность, и простых специалистов, то разница окажется серьезной — результаты отличаются в разы. Важно не просто получать данные, но и разносить их по сегментам.
О разных подходах к сегментации — в статье Михаила Правдина, UX Research Lead в Avito.
С обработкой закрытых вопросов все более-менее понятно. Трудности начинаются там, где надо проанализировать открытые вопросы — то есть просто куски текста. И если у нас не 10 анкет, а 1000, то это выглядит проблемой.
Но есть очень простой способ анализа открытых вопросов: берем все полученные ответы, разбиваем в любом сервисе для seo-анализа текста на ключевые слова и получаем статистику — сколько раз каждое слово встречается в ответах. После этого мы анализируем главные темы, то есть объединяем слова в тематические группы. Так можно быстро оцифровать все открытые вопросы. В этом поможет либо простой скрипт на Python, либо формула SEARCH в любом редакторе электронных таблиц.
Выводы
- Опрос — это своего рода продукт. Над ним тоже надо серьезно работать и учитывать привычки респондентов.
- В основных инструментах для опросов, особенно бесплатных, не хватает необходимых для качественного анализа функций. Поэтому подключайте дополнительные системы аналитики — иначе часть полезных данных будет просто теряться.
- Ищите респондентов там, где есть ваши пользователи. А это либо ваши внутренние рассылки, либо тематические сообщества.
- Чистите результаты и отсеивайте плохие анкеты. Это важно и не очень сложно — нужно просто быть внимательными.
