DIY. Гайд по методам продуктовых исследований: качественные, количественные, UX-исследования

Светлана Ратнер — DIY. Гайд по методам продуктовых исследований: качественные, количественные, UX-исследования

Светлана Ратнер, UX Research Lead в Контур, написала подробный гайд по методам исследований, которые используются для создания и развития продуктов. Статья спроектирована как справочник по методам исследований — описание каждого из них включает несколько блоков: определение, примеры использования в продуктовой разработке, полезные материалы, которые помогут освоить и глубже понять конкретный метод. 

Как ее использовать:

  • Найдите метод, который вы еще не применяли или применяете редко. Подумайте, в каких случаях он может быть полезен. 
  • Изучите примеры успешного применения выбранного метода в продуктовой разработке.
  • Проверьте, что вы не совершаете типичных ошибок.
  • Возвращайтесь, когда понадобится изучить материалы о конкретном методе. 
  • Напишите нам, если знаете классный материал про один из методов — добавим в подборку. 

Традиционно методы пользовательских исследований делятся на качественные и количественные. Качественные направлены на получение максимально полных и детализированных сведений об объекте изучения человеке, пользователе; количественные дают понимание о количестве и распространенности явлений в большой группе – популяции, аудитории. 

Для создания успешных продуктов нужны оба типа методов, точнее, их сочетание — подробнее поговорим о выборе метода в конце статьи. Это не исчерпывающий список исследовательских методов, отобрали те, которые менеджер продуктов сможет использовать самостоятельно или с командной, без привлечения сторонних ресурсов и больших бюджетов.

Оглавление

Глубинное интервью 

Глубинное интервью — краеугольный камень CustDev, качественный метод исследования, который применяется на всех этапах работы над продуктом. Выделяют проблемные и решенческие интервью. В ходе проблемного проверяют гипотезы о проблеме, а в ходе решенческого — соответственно, гипотезы о концепции решения. Из интервью мы черпаем информацию о потенциальных пользователях, их задачах, проблемах и ожиданиях. Интервью служат основной для создания персон, Customer Journey Map, заполнения JTBD-canvas и других продуктовых фреймворков. 

Ошибки

Главная опасность при проведении интервью — предвзятость интервьюера. Носитель идеи может быть настолько захвачен ею, что проводит исследование не для того, чтобы проверить гипотезу, а для того, чтобы ее подтвердить. Традиционные советы — не спрашивать напрямую «Хороша ли идея?» и задавать больше открытых вопросов  — не всегда помогают справиться с предвзятостью. Даже используя только открытые вопросы можно «навести» респондента на нужные ответы. А еще есть риск не задать те вопросы, которые ведут к обсуждению тем, противоречащих вашей идее.

Сильное желание подтвердить идею сказывается не только на том, каким образом мы формулируем вопросы, но и на том, каким образом мы слышим ответы. Увлеченный идеей интервьюер слышит только те факты, которые подкрепляют гипотезу, и пропускает неподходящие. Этот эффект называется «избирательным восприятием»

Профессиональный интервьюер нарабатывает навык противостояния предвзятости, но тут возникает другая сложность — сторонний исследователь не имеет полного контекста по продукту и может не заметить интересных тем за рамками согласованного гайда интервью, поэтому менеджеры продуктов чаще проводят интервью самостоятельно. 

Вот несколько приемов для снижения влияния личности интервьюера, когда в вашем распоряжении только ресурсы команды:  

  • Отправляйте на интервью того члена команды, который настроен к идее нейтрально (скептически настроенных лучше не привлекать — получим обратный эффект).
  • Привлекайте к проведению интервью разных членов команды: пусть каждый проведет несколько встреч, а затем вы обменяетесь результатами. 
  • Готовьте подробный гайд — список тем и вопросов, которые нужно обсудить на интервью. Сверяйтесь с гайдом по ходу интервью, чтобы не увлечься обсуждением только некоторых аспектов проблемы. После первых интервью полезно пересмотреть гайд и добавить в него темы, которые всплыли в первых разговорах, но не были учтены изначально.
  • Тренируйте осознанность: прослушивайте собственные интервью, подмечайте удачные моменты и те, где вы не докопали тему — не задали уточняющие вопросы или не дослушали ответы. Эти моменты нужно учесть, когда корректируете гайд интервью. 
  • Проводите интервью в паре или привлекайте коллег к прослушиванию записей интервью. Наблюдатель может заметить в ответах респондента то, на что вы не обратили внимания. 
  • А еще коллеги могут дать полезную обратную связь вам как интервьюеру. Сделайте перекрестное прослушивание интервью регулярной практикой в команде.

Полезные материалы

Фокус-группа

Групповое фокусированное интервью — качественный метод исследования, который предполагает обсуждение определенной темы сразу с несколькими респондентами. У фокус-группы та же цель, что и у интервью — получить глубинную информацию о целевой аудитории, узнать ее задачи и проблемы, ожидания и предпочтения, мотивы поведения пользователей. Как и интервью, фокус-группа применяется на всех этапах работы над продуктом — от нащупывания идеи до «упаковки» (иногда буквально — то есть физической упаковки) и разработки стратегии вывода продукта на рынок. 

Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.

У фокус-группы два основных преимущества перед интервью: 

  1. Скорость сбора данных. В фокус-группе могут участвовать от 6 до 12 человек, дискуссия длится от 2 до 4 часов. За это время мы не смогли бы охватить индивидуальными интервью такое же количество респондентов — даже если бы проводили не глубинные, а блиц-интервью.
  2. Возможность раскрыть больше информации по обсуждаемой проблеме за счет взаимодействия людей. Обычно влияние участников фокус-группы друг на друга расценивается как негативный и даже опасный момент, но в этом влиянии есть и сильная сторона. В группе люди больше склонны делиться мнениями, чем в строгой обстановке тет-а-тет на интервью. Реплика одного респондента вызывает ответную реакцию другого, наталкивает на размышления и воспоминания, обсуждения получаются более живыми и эмоциональными, проявляются важные и острые темы. 

Peer-группы (2−4 респондента) — промежуточный вариант между индивидуальным интервью и фокус-группой. Часто применяются в исследованиях детской аудитории (по одному детей разговорить сложнее) или для изучения устойчивых малых групп: семей, партнеров по бизнесу. 

make sense #134: О поиске респондентов для исследований — способы, каналы, инструменты и ошибки рекрутинга

Ошибки 

Плохая модерация. Менеджеры продуктов часто проводят командные обсуждения, планирования спринтов и ретроспективы, но само по себе это еще не делает их хорошими модераторами фокус-групп. Сходство в этих процессах есть, но скорее внешнее. Как и в командных дискуссиях, ведущий фокус-группы следит за тем, чтобы возможность высказать свою точку зрения получил каждый участник, однако цели кардинально отличаются. В командной дискуссии важно привести участников к выработке общего мнения, в фокус-группе — наоборот, важно выявить индивидуальную позицию каждого. Для этого модератор фокус-групп использует специальные приемы. 

Разнородная группа. Правильный подбор респондентов важен для любого исследования, но в фокус-группах особенно критичен. Фокус-группа — это не случайная выборка из представителей целевой аудитории продукта. Группа должна быть однородна по значимым для темы исследования признакам, чаще всего речь идет о социально-демографических характеристиках: возраст, уровень образования, профессия, социальное положение. Специальный отбор в группу не означает, что мы стремимся к единству мнений (в этом случае исследование принесет мало пользы), отбор помогает организовать среду, в которой участники смогут комфортно общаться. Если объединить в группу слишком разных респондентов: например, подростков и людей зрелого возраста, профессионалов в какой-либо области и любителей — глубокой дискуссии не получится. Поэтому если у продукта очень широкая ЦА, проводят несколько фокус-групп. 

Мы рекомендуем начинать освоение групповых методов с малочисленных peer-групп, они проще с точки зрения отбора участников и модерации.

Полезные материалы

Этнографические исследования 

Этнографическое исследование (полевое исследование или наблюдение) — еще один качественный метод, который помогает в разработке продуктов и построении пользовательского опыта. Под разными названиями скрывается общая суть — наблюдение за поведением людей в «естественной среде обитания». 

Наблюдатель подмечает и описывает контекст, в котором находится потенциальный пользователь: кто и что его окружает, какие задачи, в какой последовательности и в какой момент человек решает, с чего он начинает, на что или на кого отвлекается в процессе и т.п. В этом как раз и кроется сильная сторона этнографических исследований в сравнении с методом интервью: человек может действовать «на автомате», а элементы обстановки могут быть настолько привычными, что он просто не сможет их отрефлексировать и рассказать интервьюеру, даже если очень постарается. 

Наблюдаются не только внешние атрибуты ситуации, но и внутренние — цели деятельности, эмоции и чувства, которые эту деятельность сопровождают. А можно копнуть еще глубже и приблизиться к пониманию мотивов, взглядов и убеждений, которыми руководствуется человек, выполняя ту или иную деятельность. В интервью мы также пытаемся раскрыть эти аспекты, но есть факторы, которые нам препятствуют: контакт с респондентом, избирательность памяти человека, проявления когнитивного диссонанса и т.п. Процесс наблюдения, особенно длительный, частично помогает снять эти помехи, поэтому наблюдение и интервью часто используют вместе. 

Наблюдение может быть скрытым — участники не знают о наблюдателе, он остается в стороне и не включается в ситуацию взаимодействия, и открытым — участники знают, что за ними наблюдают (но могут не знать истинных целей и гипотез исследования), а наблюдатель в той или иной степени сам включается в ситуацию. Чем глубже мы хотим проникнуть в ситуацию и смыслы, которыми руководствуются ее участники, тем большее включение наблюдателя потребуется.

Метод наблюдения применяют для решения следующих задач: 

  • Погружение. Когда менеджер продуктов или команда начинают работать над продуктом в незнакомой сфере или с новой аудиторией.
  • Поисковое (генеративное) исследование. Поиск незакрытых проблем, для решения которых вы придумаете новую возможность в продукте или новый продукт. 
  • Аудит продукта и поиск возможностей для улучшения пользовательского опыта. Изучаете, что на самом деле делают пользователи с вашим продуктом, где расходятся их ожидания и реальность. 

А в некоторых ситуациях наблюдение может быть единственно возможным способом изучения пользователей: 

  • Когда процесс использования продукта настолько сложный и так сильно зависит от контекста, что смоделировать его в лабораторных условиях (например, в ходе юзабилити-тестирования) невозможно. Часто это касается профессиональных интерфейсов. 
  • Когда клиентов по разным причинам невозможно привлечь к интервью. Например, разведывательное исследование, когда мы не хотим «раскрывать карты» участникам, или ситуация, когда клиенты отказываются участвовать. 

Из практики

Кейс 1. Профессиональный интерфейс

Пример задачи, в которой помогло наблюдение. Разрабатывали «админку» для операторов «Удостоверяющего центра» — профессиональный интерфейс, которым пользуются сотрудники компании, которые отвечают за проверку документов и выдачу электронных подписей. 

Чтобы воссоздать сложный процесс в интерфейсе, важно было увидеть его от начала до конца в реальных, а не лабораторных условиях, и своими глазами, а не по рассказам сотрудников. Использовали метод открытого включенного наблюдения. Исследователь выступал в роли стажера-подмастерья, которого сотрудники центра обучали выполнять соответствующие задачи по проверке документов. 

После стажировки наблюдатель в течение нескольких дней работал наравне с другими операторами и получил двойную пользу:

  • личный опыт, возможность прочувствовать все вызовы и трудности процесса «на собственной шкуре»; 
  • возможность понаблюдать за работой сотрудников в естественных условиях.

Наблюдение принесло идеи для продукта, до которых мы не смогли докопаться на предыдущих этапах, когда проводили глубинные интервью: о ряде нюансов мы вообще не спрашивали (и даже не догадывались, что о таком можно спросить), а сами участники не считали нужным о них рассказывать. 

Кейс 2. B2B-продукт на заказной разработке

И еще один, экстремальный пример наблюдения. Участвуя в заказной разработке профессионального B2B-продукта, мы долгое время не могли получить разрешение понаблюдать за работой конечных пользователей. Опирались только на обратную связь от стейкхолдеров: она проходила через цепочку из нескольких посредников, а значит, была неоднократно искаженной и не оперативной. Складывалось ощущение, что мы продвигаемся медленно, в темноте, да еще и все время мимо. Команда была измотана. 

Тогда один из членов команды разработки просто устроился на должность, которая предполагала взаимодействие с нашим будущим продуктом, — благо, для работы не требовались специфические знания и опыт, а коллега был авантюрным и способным. За четыре месяца наш «засланный казачок» освоил свою новую специальность на базовом уровне и приблизился к пониманию стандартов и ценностей своих коллег. Дела в проекте сразу пошли быстрее! 

Наблюдение было скрытым, включенным, а еще очень затратным — повторять такую «секретную операцию» для каждого проекта не будешь. Зато, когда вы разрабатываете профессиональный продукт, можно проходить обучение по нужной специальности на экспресс-курсах — это более доступный и практичный способ получить доступ к наблюдению за потенциальными пользователями. Достаточно часто дизайнеры, исследователи и другие члены команды проходят курсы по бухучету или госторгам. Есть даже более редкие и вдохновляющие истории — например, как UX-дизайнер учился на яхтенного радиста! 

Полезные материалы

Микрокурсы ProductSense Academy

Метод дневников 

Это разновидность этнографического исследования. С помощью дневников мы тоже пытаемся лучше понять окружающую пользователей действительность, только наблюдение здесь ведет сам респондент. А значит, метод дневников — это самонаблюдение. 

В чем суть метода: мы просим респондентов фиксировать свои наблюдения и размышления в определенный момент. Момент может быть задан исследователем — «когда выполняете такую-то деятельность», «в момент использования продукта», «в конце дня», а может быть или спонтанным: когда респонденту самому захотелось чем-то поделиться. Форма записи наблюдений и инструменты тоже варьируются: это может быть дневник со специальными заданиями, формализованный опрос в специальном приложении, фотографии или текст в свободной форме. Самонаблюдение может сопровождаться записью экрана устройства, которое использует респондент, или логированием действий пользователя в продукте. 

Метод дневников полезен в нескольких случаях: 

  • Процесс, который мы хотим изучить, растянут во времени. Например, когда мы наблюдаем за формированием привычки к использованию продукта или продукт используется не каждый день, а нам необходимо увидеть как можно больше ситуаций-триггеров.
  • Внешний наблюдатель не может присутствовать на исследовании. Например, в операционной, на сложном производстве или в доме клиента.
  • Хотим больше узнать о внутренних процессах человека — мотивах, принципах выбора, эмоциях и т.п. 

Эти критерии соответствуют популярной в продуктах задаче «построить Customer Journey Map». СJM — это попытка зафиксировать длительный процесс, часть которого скрыта от владельцев продукта и проходит у пользователя в голове. Метод дневников как нельзя лучше подходит для решения этой задачи и, на мой взгляд, незаслуженно обделен вниманием менеджеров продуктов. 

У метода дневников есть несколько преимуществ по сравнению с глубинными интервью:

  • Респондент фиксирует опыт в контексте и в моменте — пребывая в реальной ситуации, а не пытаясь что-то вспомнить.
  • Сам формат дневника (размышлений без собеседника) способствует более глубокой рефлексии. Как минимум — «другой» рефлексии, не такой, как на интервью. Рассказ о событиях дня собеседнику всегда будет отличаться от записей в дневнике, поэтому очень классно, если вы сочетаете глубинки и дневники. 

Еще одно интересное сочетание — дневниковое исследование и фокус-группа. Это форумы или чаты пользователей в привычных мессенджерах и соцсетях, куда ведущий отправляет вопросы и задания, а участники отвечают. В онлайн-формате сохраняются групповые преимущества фокус-группы: участники стимулируют друг друга, подкидывают темы, комментируют — круг обсуждаемых тем и реакций оказывается шире. 

Из практики 

Полезные материалы

А что если вы не правы, или зачем менеджерам продукта нужна статистика

Юзабилити-тестирование 

Этот метод также основан на наблюдении за взаимодействием пользователя и продукта, но в отличие от этнографических исследований, где мы пытаемся увидеть спонтанное поведение людей, в тестированиях моделируются определенные, интересные для изучения, ситуации взаимодействия «в лабораторных условиях». Речь необязательно о юзабилити-лабораториях — отдельных помещениях со специальным оборудованием (сейчас компании все чаще отказываются от них из-за высоких затрат на постройку и содержание), соль именно в «моделировании»: с помощью специальной легенды и заданий мы воссоздаем ситуацию использования и наблюдаем за поведением. 

Ключевое отличие тестирований от интервью в том, что здесь мы не опираемся на мнения и оценки, которые могут искажаться под воздействием разных причин, а наблюдаем за более объективной сущностью — действиями в интерфейсе при решении задач. Разумеется, и участники тестирования могут проявлять социальную желательность или использовать другие «специальные стратегии» прохождения теста (некоторые, например, стремятся найти как можно больше ошибок), но все равно поведение подделать сложнее, чем ответы на вопросы интервью — особенно когда речь идет о рутинных задачах. 

К методу юзабилити-тестирования можно обращаться, когда проблема, которую решает продукт, уже валидирована и появляются первые визуальные прототипы решения. 

Юзабилити-тестирование помогает проверить, соответствует ли логика продукта логике пользователя: пользователи понимают «что вообще тут происходит», ориентируются в навигации, могут выполнить ключевые задачи, а порядок действий в продукте соответствует привычным сценариям и интуитивно понятен. Для такого «тестирования концепции» подходят прототипы с низкой детализацией, даже эскизы, выполненные на бумаге, главное —  чтобы на «экранах» прототипа можно было выполнить осмысленную, с точки зрения пользователя, задачу. 

Тестирование концепции обычно проводится с модератором и называется «модерируемым юзабилити-тестированием». Модератор помогает создать во время сессии тестирования опыт, приближенный к реальному, несмотря на низкую детализированность и неповоротливость прототипа: меняет экраны, может дорисовать недостающие элементы на бумажном прототипе, помогает респонденту, если тот попал в ситуацию, которая оказалась не прорисованной и т.п. 

Модератор наблюдает за действиями респондента, в нужных местах задает уточняющие вопросы, а в конце обычно проводит небольшое обсуждение полученного опыта. Присутствие модератора влияет на поведение респондентов, но тестирование самых первых, низко-детализированных прототипов было бы невозможным без его участия. 

Концепции и первые грубые прототипы тестируют с модератором, чтобы выявить «логические ошибки» в продукте как можно раньше. А тестирование детальных прототипов помогает наблюдать более глубокое взаимодействие и оценивать собственно «юзабилити» продукта. 

Во время тестирования детальных прототипов исследователи проверяют, насколько естественно для пользователей выполняются отдельные сценарии в продукте, как пользователи читают и воспринимают интерфейсные тексты — можно даже оценить удобство конкретного интерфейсного элемента, узнать, находят ли его пользователи, легко ли справляются с действиями, соответствуют ли ответы системы ожиданиям пользователей и т.п. 

Чем более мелкий и интерактивный сценарий мы хотим протестировать, тем более детальный нужен прототип. Чтобы собрать такой прототип придется освоить один из сервисов: Figma, Invision, Balsamiq, Marvell (для мобильных устройств) — или проектирование «в коде». Зато протестировать интерактивный прототип можно без модератора, с помощью специальных сервисов — UXcrowd, Maze, Loop11, Фабуза и др. 

Немодерируемые тестирования существенно экономят время исследователя: давать респондентам инструктаж и задания, собирать обратную связь, наблюдать и даже готовить отчет будет сервис, а не человек! Кроме того, можно провести большое количество тестов за короткое время и получить количественную оценку интерфейсных проблем. Однако немодерируемые тестирования подходят только для проверки небольших и простых задач. 

Юзабилити-тестирования проводят не только на прототипах, но и с работающими сервисами. Вот две ситуации, когда это полезно:

  • Если менеджер продуктов присоединился к команде уже работающего продукта. Тестирование поможет выявить ключевые трудности пользователей и сгенерировать гипотезы о точках роста и возможных доработках. Особенно полезно, если менеджер продуктов выступит модератором (или как минимум наблюдателем) такого тестирования, чтобы своими глазами увидеть взаимодействие пользователей с продуктом. 
  • Продукт развивается в конкурентной среде, у него много аналогов. В этом случае важно тестировать не только собственный продукт, но и продукты конкурентов. Так мы сможем увидеть их сильные и слабые стороны, выбрать для своего продукта самые удачные решения или отбросить заведомо неудобные.

Ошибки

Обсуждение вместо наблюдения. Главная ошибка при проведении юзабилити-тестирований — подмена тестирования беседой на тему интерфейса. Если мы спрашиваем, нравится ли интерфейс продукта (или какой из вариантов интерфейса нравится больше), просим порассуждать о неудобствах и сильных сторонах интерфейса — это не юзабилити-тестирование. Тестирование может включать элементы интервью, но главная ценность метода — наблюдение за тем, как пользователь решает в интерфейсе конкретные задачи. Маркер того, что тестирование организовано правильно: видеозапись тестирования полезно и информативно смотреть даже без звука, то есть можно сделать выводы об удобстве использования интерфейса, не опираясь на рассуждения респондента. Будем руководствоваться тем, какие действия пользователь совершает: двигается ли он по предполагаемому сценарию, приходится ли ему возвращаться назад, допускает ли пользователь ошибки и т.д.

Тестирование случайных людей. В арсенале исследователей нет понятия «коридорное интервью» (все понимают, что задавать вопросы о задачах и проблемах нужно представителям целевой аудиторией), но прижилось понятие «коридорный тест» — юзабилити-тестирование, которое проводят на коллегах и тех, кого удалось буквально «поймать в коридоре». В таком подходе кроется серьезная опасность – выстроить пользовательский опыт вокруг «не-своего» пользователя. Коридорный тест полезен, если проектированием интерфейсов занимается не профессиональный дизайнер, а другой член команды или начинающий специалист. В этом случае коридорный тест поможет отловить грубые ошибки в проектировании взаимодействия. — исправив их, выходите к настоящим пользователям.

Из практики 

Полезные материалы

Карточная сортировка

Карточная сортировка помогает «заглянуть в голову» пользователя и узнать, как организованы представления о тех или иных сущностях. Когда мы хотим структурировать информацию и зафиксировать понимание в команде, строим mind map. Похожие ментальные карты по разным темам хранятся и в головах людей — они формируются в течение всей жизни через обучение и наработку опыта. У людей со схожим опытом похожи и ментальные карты. Формулировки «простой продукт», «продукт, в котором легко ориентироваться» говорят о том, что продукт спроектирован (условно) по ментальной карте, которая похожа на карту в голове пользователя. Метод карточной сортировки — один из способов визуализировать эти скрытые ментальные карты. 

Суть метода: исследователь просит респондента распределить набор карточек по смысловому сходству. На карточках могут быть понятия из предметной области, этапы какого-либо процесса или деятельности, названия пунктов меню, названия фич продукта, изображения и т.п. Сортировка бывает трех видов:

  • Открытая. Респондент сам определяет количество и названия групп. 
  • Закрытая. Респондент распределяет карточки по заранее заданным группам.
  • Обратная. Респондент должен найти конкретную карточку в готовой структуре. 

make sense #120: О формулировании гипотез, подходах и критериях корректности, и проверке гипотез разных уровней

Карточную сортировку используют в следующих случаях: 

  • На ранней стадии проектирования продукта, когда создается «карта продукта», его информационная архитектура. Особенно это полезно для сайтов и систем с большим количеством объектов: каталогов, справочников, меню больших сайтов и супераппов. На ранних стадиях разработки больше подходит открытая сортировка. Тогда мы можем не только увидеть близость объектов на ментальной карте пользователей, но и услышать, какими словами и терминами пользователи называют сгруппированные объекты, чтобы учесть это в проектировании. 
  • Для проверки навигации, как часть тестирования концепции продукта. Для этого есть особый тип карточной сортировки – обратная сортировка или «tree-testing». Респонденту дают задачу и предлагают найти в иерархии нужный пункт для ее решения. Очень похоже на юзабилити-тестирование с заданиями, только стимульный материал выглядит значительно проще: не имитация реального интерфейса, а просто дерево навигации — на карточках, в Excel или в специальном сервисе для tree-testing. 
  • В процессе доработки сложного продукта, когда нужно добавить новые сущности, не перерабатывая структуру полностью. В этом случае лучше подойдет закрытая карточная сортировка. 
  • Для аудита работающего продукта, когда возникло подозрение, что есть проблемы с навигацией. Используют открытую и закрытую сортировку или сочетают оба метода. 

Карточную сортировку можно проводить с модератором — на карточках или стикерах, и без модерации — используя специальные сервисы. В первом случае результаты анализируются как данные качественного исследования: фокусируемся на том, как пользователи разделяют объекты на группы, на связях между объектами и логике разделения. Результаты онлайн-сортировки при достаточном количестве респондентов можно проанализировать  статистически. 

Модерируемая карточная сортировка по процессу напоминает глубинное интервью, но помогает больше фокусироваться на конкретных сущностях ментальной карты. Представьте, что в игре «Морской бой» условиями не задано, сколько кораблей и какой формы имеет противник — в такой ситуации исследователь находится, когда начинает первые глубинные интервью по теме. После нескольких интервью появляются ориентиры — объекты ментальной карты (в нашей аналогии — знания о конфигурации, количестве кораблей и местоположении некоторых из них). Теперь можно приступать к исследованию связей между ними. На этом этапе к интервью уместно подключить и метод карточной сортировки. 

Из практики 

Полезные материалы

Проективные и творческие методы

В отдельную группу соберем проективные и креативные методики, суть которых — попытаться еще глубже, чем в интервью и этнографических исследованиях, «проникнуть в голову пользователя». 

Новая глубина возникает благодаря нескольким особенностям таких исследований:

  • Принцип проекции. Заимствован из психодиагностики, где метод используется для изучения личности. Как это работает: респонденту предлагают взаимодействовать с изображениями (описать, дорисовать, классифицировать), неоднозначными ситуациями (выбрать способ действия, придумать окончание истории), неоконченными предложениями (завершить фразу). Ситуации и материалы, которые используют в проективных методах, не предполагают правильных и неправильных ответов, не имеют согласованных норм поведения. Поэтому человек в таких заданиях действует свободно, спонтанно — выносит вовне глубинные, часто неосознаваемые, аспекты личности: потребности, мотивы, внутренние конфликты. Считается, что проективные методики меньше подвержены фальсификации, чем интервью и опросники.
  • Использование творческих заданий вместо вопросов, традиционных для интервью и фокус-групп. Неоднозначные задания — часть проективного метода, кроме того, ни дают возможность сильнее вовлечь участников в процесс исследования.
  • Эффект группы. Мы упоминали об этом эффекте, рассказывая о фокус-группах. Проективные методики в продуктовых исследованиях чаще применяются как групповой метод исследования. 

В сообществе исследователей нет однозначного мнения относительно проективных методик в разработке продуктов. Одни считают их эффективными и используют не только вместе, но и вместо традиционных методов, другие — сомневаются в качестве данных, которые получены в результате креативных исследований. Одно можно сказать с уверенностью: совместная творческая работа пользователей и команды разработки полезна для развития эмпатии у членов команды, повышает осознанность и предупреждает профессиональное выгорание. Поэтому мы рекомендуем как минимум попробовать один из творческих методов.

Из практики

Опрос 

Количественный метод, применяется на всех стадиях работы над продуктом. Опрос дает возможность оценивать объекты и явления количественно: понять состав аудитории продукта, оценить частоту встречаемости определенного признака, приоритизировать идеи и проблемы, выбрать лучший вариант и т.п. 

Опрос обладает прогностической силой, то есть дает возможность предсказать мнения большого числа людей — генеральной совокупности (всех потенциальных пользователей продукта или всех пользователей продукта), на основе данных исследования небольшой группы — выборки. Для этого выборка должна быть достаточного размера и соответствовать целевой аудитории (репрезентировать ее).

Выделяют стандартизированные и нестандартизированные опросы. 

  • Стандартизированные опросы фокусируются на изучении конкретной темы или проблемы, предполагают четкую последовательность вопросов, в них преобладают закрытые вопросы. Они подходят для оценочных исследований — оценка промежуточных и финальной версий продукта, ранжирование проблем или задач. 
  • Нестандартизированные опросы менее строги и немного похожи на интервью, а исследователь может корректировать последовательность и формулировки вопросов в зависимости от ответов и реакции респондента. Они предполагают больше открытых вопросов (если речь про онлайн-опрос), подходят для генеративных исследований, направленных на поиск проблем. 

Иногда термин «стандартизированный» понимают более строго и относят к нему методики, процедура проведения и обработка результатов которых строго регламентированы. На слуху в продуктовой разработке NPS и CSAT — инструменты для оценки удовлетворенности клиентов и пользователей сервиса. К стандартизированным опросникам относятся и популярные SUS и SUPR-Q — они используются вместе с юзабилити-тестированием, чтобы количественно оценить удобство пользовательского интерфейса. Стандартизированные опросы удобны тем, что их результаты можно сравнивать между собой и со средними отраслевыми значениями.

Ошибки

Из практики

Полезные материалы

A/B-тестирования

Количественный метод исследования. В отличие от интервью и опросов он основан на фиксации реального поведения пользователей, а не изучении мнений, оценок, представлений.

Суть метода: трафик сайта равномерно делится на тестовую и контрольную группы, тестовая видит версию с изменением, контрольная — обычную страницу. Затем сравнивают показатели достижения цели у тестовых и контрольной групп и выбирают версию, которая работает лучше. Что мы меняем на странице, выполнение какого действия считаем целью и что измеряем, зависит от тестируемой гипотезы. Например, менять можем расположение и дизайн элементов на странице, тексты, цены, состав фич, измерять — количество регистраций, переходов на другую страницу, добавлений товара в корзину и т.п. Изменение может быть одно или сразу несколько (такое тестирование называется мультивариантным). В широком смысле метод используют для проверки любых гипотез, связанных с продуктом. 

Как и для чего менеджеру продуктов развивать математическое мышление и какие разделы математики изучать?

Вот несколько распространенных задач, в которых применяют A/B-тесты:

  • Проверка востребованности продукта на этапе валидации проблемы.
  • Поиск лучшего УТП на этапе формулирования концепции продукта.
  • Тестирование тарифов и цен.
  • Проверка интерфейсных улучшений.

Сильная сторона метода — объективность. Участники не знают об эксперименте, а значит беспристрастны. A/B-тесты проводят на больших выборках — только так можно рассчитать надежность и точность выводов. 

Однако есть как минимум два ограничения, которые не позволяют использовать в продуктовых исследованиях только A/B-тесты:

  • Необходим большой трафик, особенно для мультивариантных тестов, иначе не получим статистически значимых выводов. А чтобы его привлечь, придется потратить деньги (например, платно продвигать лэндинги, отклик на которые хотим проверить) или время (ждать, пока не наберется достаточное количество посетителей). 
  • А/B-тесты дают ответ на вопрос «Какой вариант лучше?», но не помогают понять «Почему?» — то есть что именно повлияло на действия и выбор пользователей. 

Ошибки

Из практики

Полезные материалы

Как выбрать подходящий метод

Есть разные способы, которые помогают обобщить многообразие методов и алгоритмизировать выбор подходящего для конкретного исследования. Методы связывают: 

  • С этапам жизни продукта, рекомендуя на ранних стадиях проводить качественные исследования, а на более зрелых — количественные.
  • С этапами самого исследования, говоря, что в качественных исследованиях гипотезы генерируются, а в количественных — валидируются. 
  • С традиционной (или даже стереотипной) областью применения: хотите узнать, будут ли продукт покупать — проведите фокус-группу (традиционный маркетинговый метод изучения предпочтений клиентов), а если надо понять, как люди используют продукт, то юзабилити-тестирование — «то, что доктор прописал». 

Любые классификации полезны: когда мы делим методы по разным критериям, то обогащаем нашу карту представлений о них (да, прямо как в карточной сортировке!) — лучше видим сходства, отличия и возможности сочетания методов. Поэтому мы приведем несколько классификаций-руководств по выбору метода. Правда, универсальной и идеальной схемы не существует, поэтому к выбору метода исследования каждый раз надо подходить как к новой творческой задаче. 

Что учесть при выборе метода исследования

  • Цель исследования. Для чего нужно исследование? Какого знания (и о чем) команде не хватает для принятия решения? Тезис в стиле «спасибо, кэп!», однако мы часто видим, когда команда начинает планирование исследования сразу с метода, забывая о самой задаче: «хотим построить CJM», «внедрить NPS» и т.п. В сообществе постоянно появляется мода на тот или иной метод. Интерес к новому или желание вовлечь в исследования всю команду (а для этого не каждый метод подходит) могут быть второстепенными критериями выбора, главной должна оставаться цель исследования. 
  • Применение результатов. Как будет использоваться полученное в ходе исследования знание? Что команда действительно может и готова сделать после получения результатов исследования? Представьте, что будете делать, когда получите результат исследования. Отличается ли план действий в том, случае если гипотеза подтвердится или не подтвердится? Образ ожидаемого результата повлияет на выбор методов. Если варианты развития событий одинаковы при любых допущениях о результатах исследования, стоит вернуться на шаг определения цели. 
  • Риски от запуска без исследования vs стоимость самого исследования. Чем вы рискуете, если сэкономите на исследовании, и в итоге примите ошибочное решение? Кто и какие риски будет нести? Теперь сравним с ресурсами, которые команда потратит на проведение исследования. Сюда входит поиск подходящих респондентов, подготовка прототипов, проведение исследования и анализ результатов. Очень важно, чтобы стоимость исследования не превышала возможные риски.
  • Ресурсы команды. Насколько вы ограничены во времени? Есть ли у вас в команде исследователь, который может организовать модерируемое тестирование, или выгоднее самостоятельно проводить немодерируемое тестирование с помощью специальных сервисов? Одну и ту же исследовательскую задачу можно решить сочетанием разных методов — а это разная стоимость и временные затраты. Именно поэтому менеджеру продуктов так важно знать широкий репертуар методов.

В продуктовых исследования часто используют сочетание качественного и количественного подходов, причем, не только как последовательность методов — опрос + интервью, юзабилити-тестирование + опрос, но и объединяя описательные и статистические методы анализа в одном исследовании — например, в карточной сортировке или когда проводят контент-анализ (количественный анализ) артефактов дневникового наблюдения (качественный метод). Такой подход называют «Mixed methods».

Из практики. Примеры сочетания методов

Кейс 1. Оценка удовлетворенности покупателей

Однажды мы участвовали в исследовательском проекте для сети книжных магазинов. Хотели оценить текущий пользовательский опыт в магазинах сети, чтобы найти способы повышения удовлетворенности покупателей. Сначала мы использовали метод скрытого наблюдения: в течение недели исследователи под видом покупателей наблюдали за процессом выбора и покупки книг в торговых залах сети: 

  • Обращает ли внимание покупатель на стенд с рекомендованными новинками или сразу отправляется в конкретный отдел магазина? 
  • Как находит отдел и пользуется ли навигацией? 
  • Сколько отделов и какие посетит, пока не сделает выбор? 
  • Когда и с какими вопросами обращается к консультанту, а когда к электронному каталогу? 
  • Как действует после получения справки в каталоге и как ищет нужную книгу на полке? 
  • Чем отличается стратегия выбора книг у посетителей с детьми? 
  • Какие посетители прерывают поиск и уходят без покупки? 
  • Как отличается опыт в разных магазинах сети?

Первые пару дней наблюдатели погружались в среду и записывали (буквально — записывали в блокнот) все «истории», которые успевали заметить, а после сессии наблюдения обменивались историями: подмечали типичные и, наоборот, необычные ситуации и в следующие дни отслеживали их более внимательно. В итоге сформулировали гипотезы — с частью из них вышли на глубинные интервью, а часть (которые касались простых доступных изменений в торговом зале) проверили в ходе эксперимента и повторного наблюдения. 

По результатам наблюдений и глубинных интервью разделили аудиторию на сегменты – группы с одинаковой целью, которые ведут себя похожим образом. Обобщили путь каждого сегмента и определили на Customer Journey Map подходящие точки для последующего сбора обратной связи. Составили короткие опросники для оценки опыта в соответствующих точках контакта. 

В этом кейсе качественные методы использовались для того, чтобы определить правильные точки для подключения количественного метода — измерения удовлетворенности покупателей.

Кейс 2. Запуск нового сервиса в конкурентной среде.

Агрегатор торгов Контур.Закупки запускался в конкурентной среде — на рынке уже было несколько аналогичных сервисов и сильный лидер. Мы вышли с гипотезой: существующие сервисы перегружены и сложны для освоения, а в ежедневной практике специалист по тендерам использует лишь малую опций. На быстром и простом доступе к решению ключевых задач мы и хотели сосредоточиться. Качественные и количественное исследования проходили параллельно:

  • Глубинные интервью с потенциальными пользователями — специалистами по тендерам, чтобы выявить ключевые задачи, привычные инструменты для их решения и связанные с ними трудности.
  • Юзабилити-тестирования конкурентных сервисов с теми тендерными специалистами, которые регулярно использовали их в работе. Искали часто повторяющиеся задачи, отмечали интерфейсные паттерны, принятые в отрасли, к которым наши потенциальные пользователи могли привыкнуть, фиксировали жалобы пользователей на неудобства в конкурентных сервисах.
  • Юзабилити-тестирование прототипов будущего сервиса. Все тестирования были модерируемые, потому что на первом этапе команда хотела увидеть как можно больше живых пользователей, а также проверить общую концепцию нового сервиса.
  • Опрос по методу Кано, чтобы валидировать предположения, полученные в качественных исследованиях, и выяснить обязательные и привлекательные функции в сервисах для работы с торгами.

Кейс 3. Оценка юзабилити формы подачи объявления в приложении ЦИАН

Пример сочетания юзабилити-тестирования (качественный метод) и опроса пользователей внутри сервисе (количественный). Ответы на сам опрос при этом анализировались и статистически, и качественно.

Полезные материалы