В немодерируемом тесте пользователи сами отвечают на вопросы, проходят простые сценарии, сравнивают интерфейсы. В таком исследовании не нужен модератор, но важно правильно сформулировать цель, выбрать аудиторию, подобрать задание и метод тестирования. Иначе могут проявиться ошибки, которые приведут к потере времени, денег и ошибочным выводам.
Сергей Тимофеев и Георгий Струнин, основатели платформы Pathway, рассказали, в чём можно ошибиться при проведении немодерируемого теста — и как этого избежать.
1. Провели немодерируемый тест вместо модерируемого
Немодерируемый тест лучше всего подойдёт, если нужно быстро опросить большое количество людей или есть конкретные вопросы, на которые вы хотите получить ответ. Также когда нужно провести юзабилити-тест небольшого сценария.
Если же вы хотите проверить крупный сценарий, углубиться в мотивацию пользователей, нужно задать уточняющие вопросы по ходу исследования — лучше проводить исследование с модератором.
Когда может подойти немодерируемый тест?
- Нужно подтвердить что-то количественно — убедиться, что конкретная гипотеза подтверждается или опровергается на большой массе пользователей.
- Хочется получить ответ на конкретный исследовательский вопрос. Например:
- Найдут ли пользователи точку входа в сценарий?
- Какое решение или элемент вызывает больше доверия / выглядит более выгодно или привлекательно?
- Где в навигации будут искать X?
- Поймут ли, что делает иконка?
- С каким вариантом сценария быстрее справятся?
Когда лучше использовать модерируемый тест?
- Проверяете крупный сценарий — больше 6–7 экранов. Чем больше сущностей и событий внутри сценария — тем сложнее интерпретировать результат исследования без модератора, когда нет возможности задать уточняющие вопросы.
- Важно управлять исследованием, задать дополнительные вопросы по ходу — например, пользователь провёл много времени на конкретном экране. И вы хотите понять, о чём думает респондент, что его потенциально смутило.
- Хотите узнать потребности и мотивацию пользователей — в таких случаях важно задать дополнительные вопросы.
- Нужно найти ответы на вопрос «почему?» — например, чтобы понять конкретные причины, почему пользователь не понимает какую-то функцию или ошибается в сценарии.
- Хотите углубиться в контекст и причины появления проблемы.
2. Неправильно определили целевую аудиторию теста
Главное правило — у респондентов должен быть релевантный опыт, чтобы участвовать в исследовании.
Например: вы хотите проверить онбординговые сценарии для рекламного кабинета VK. Для этого нужны владельцы бизнесов и маркетологи, которым потенциально интересна реклама на площадке. Если опрашивать всех подряд — у участников может не быть нужного контекста и опыта. Из-за этого искажаются результаты.
Иногда также важно учесть демографические факторы: возраст, географию, пол, уровень образования, уровень дохода и другой контекст.
Например: вы работаете над премиальным сервисом для заказа такси. Респонденты с зарплатой меньше 100 000 рублей вряд ли будут вашей целевой аудиторией — исследование на такой выборке может исказить результаты.
3. Наняли неподходящее количество респондентов
Например, опросили слишком много людей или слишком мало — без явной на то причины. Из-за маленькой выборки получили большую погрешность для генеральной совокупности — всей аудитории вашего продукта. А при большой выборке, которая была не нужна, потратили много ресурсов на привлечение опрашиваемых.
Чтобы определить количество респондентов, нужно понять, какое исследование вы будете проводить:
- качественное — найти проблему и придумать решение;
- количественное — проверить гипотезу и получить статистику.
Для качественного исследования (провести открытую карточную сортировку, найти проблемы в сценарии, проанализировать ответы на открытые вопросы) рекомендуем привлекать небольшие группы респондентов по 5–7 человек — пока инсайты и проблемы не начнут повторяться. По нашему опыту, 15–20 человек в сумме бывает достаточно.
Для количественного исследования — важно понимать, что от числа респондентов зависит погрешность полученных результатов. Мы рекомендуем брать 95–100 человек. Однако большая или маленькая выборка не всегда будет ошибкой — подробнее читайте в главе «Сколько нужно респондентов?» из гайда Pathway.
Например, вы провели немодерируемый тест и опросили 24 респондента. В итоге получили значение 70% для выборки на всей массе пользователей. Но с вероятностью 95% (доверительный уровень) на всей совокупности пользователей такой же ответ дадут от 51.67% до 88.33% людей. Это большой разброс — принимать решения на таких данных иногда может быть опасно.
4. Плохо определили цель
Цель исследования должна соответствовать целям продукта. В таком случае результаты теста увеличат шансы на правильное продуктовое решение.
Иногда на этом этапе можно запутаться и начать проверять минорные гипотезы, в то время как самые важные вопросы лежат в другой плоскости.
Например: вы хотите внедрить платную подписку на экспресс-доставку в интернет-магазине. Для этого используете баннер в верхней части экрана.
Так себе цель | Хорошая цель |
| Выбрать из нескольких вариантов визуализации баннера тот, который больше нравится пользователям. | Проверить, что пользователи поняли смысл предложения.Выбрать предложение, которое выглядит наиболее выгодным для пользователей. |
5. Проверяли то, что можно было не проверять
Не все решения нужно проверять. Особенно те, что уже известны из best practices или из других ваших экспериментов.
Например: вы предложили пользователю посмотреть на экран приложения по заказу такси.
| Не стоит проверять | Хорошо проверить |
| Люди поймут, что уточнить про детское кресло можно в разделе «Предпочтения». Это распространённый и проверенный временем сценарий. | Пользователи поймут, как вызвать такси ко времени.Пользователи поймут, что иконка часов рядом с кнопкой «Заказать» помогает вызвать такси ко времени. Подобная мультикнопка с иконкой может вызвать трудности — с учётом того, что рядом есть кнопка «Предпочтения». |
6. Неправильно выбрали метод
Например: в сервисе по бронированию отелей команда проверяет новый дизайн страницы отеля. И формулирует гипотезу: пользователи не поймут, что проверить доступность других дат можно на той же странице в блоке «Доступные номера».
| Так себе решение | Хорошее решение |
| Запустили открытый вопрос с картинкой: «Как вы думаете, что произойдёт, если нажать на кнопку “Изменить” в разделе “Доступные номера”?». | Погрузили пользователей в сценарий и проверили, куда бы они направились, чтобы проверить доступность номера в другие даты. Для этого использовали сценарный или first-click тест. |
Пять популярных методов немодерируемых исследований
- Сценарный тест — покажете сценарий (часто в виде прототипа) и попросите выполнить определённое задание, чтобы найти проблемы.
- Тест первого клика (first-click) — зададите вопрос по картинке: «Куда бы вы нажали, чтобы сделать X?». Позволяет проверить навигацию или обнаружить, где пользователи будут искать нужную функциональность.
- Preference-тест — помогает сравнить два или больше экранов и выбрать тот, который лучше воспринимают пользователи на уровне эмоциональности, доверия, привлекательности или других критериев.
- Пятисекундный тест — помогает проверить, какие элементы интерфейса лучше запоминаются, какие впечатления сложились от страницы, как пользователь считал смыслы.
- Карточная сортировка — помогает понять, как организовать структуру сайта: классифицировать каталог или выстроить меню.
7. Плохо сформулировали вопрос для теста
Вопрос должен быть простым и понятным пользователю, не иметь подсказок, отсылать к объективному опыту.
Какие могут быть ошибки в вопросах
- Вложили подсказку в вопрос.
Например: в примере с приложением для заказа такси и иконкой часов задаёте вопрос: «Вы бы поняли, что иконка часов в кнопке позволяет заказать такси к определённому времени?». Здесь уже есть подсказка — поэтому с такой формулировкой сложно составить реалистичную картину, действительно ли пользователи понимают про заказ ко времени.
- Строите предположения про будущее, которые невозможно проверить во время тестирования.
Например: вы спрашиваете: «Купили бы подписку на экспресс-доставку в этом магазине, если бы заказывали в нём часто?». Или «Если бы вы впервые увидели функцию X, стали бы вы проверять, что она делает?». Ответы на подобные вопросы невозможно получить в искусственной среде с помощью немодерируемого исследования.
- Использовали профессиональную терминологию.
Примеры терминов, которые наверняка вызовут затруднения: «чекаут», «точка входа», «футер». Такие формулировки часть респондентов может не понять.
8. Плохо подготовили макеты и картинки
Какие могут быть ошибки в макетах
- Макеты, которые нужно сравнить, различаются несколькими элементами.
В таком случае тест окажется неэффективен — вы не поймёте, что именно повлияло на решение респондентов. Макеты должны различаться только одной деталью — и изменения должны быть заметны.
Варианты различаются и картинкой, и текстами — из ответов респондентов сложно понять, что повлияло на выбор. Лучше провести серию сравнительных тестов, оставляя различия только в одном элементе.
- Непонятно, про какой элемент задаёте вопрос.
Проверьте, понимают ли пользователи, о каком элементе идёт речь. Нужный объект можно поместить в рамку или указать на него стрелкой, особенно в макетах с большим количеством деталей. Если указываете стрелкой, убедитесь, что рядом с нужным элементом не стоят другие — иначе респондент не поймёт, на что надо обратить внимание.
- Данные на макете нереалистичные.
Это ломает эффект погружения в сценарий. И есть риск, что в ответах на ваши вопросы респонденты напишут комментарии, насколько странные были изображения или что суп не может стоить 3 999 рублей.
9. Не проверили тест до запуска
Перед началом теста мы рекомендуем еще раз пробежаться по формулировкам, заданиям, прототипам и макетам: цена ошибки может быть достаточно высока.
Например, респонденты неправильно интерпретировали задание или в нем оказался не тот прототип, а вы уже потратили время и деньги на их привлечение.
Хорошей идеей будет проверить исследование с командой — показать вопросы и задания кому-то из коллег. Если есть возможность, запустите тест на маленькой выборке: по первым ответам можно выявить потенциальные проблемы.
10. Неправильно интерпретировали результаты теста
Вы провели сравнительное исследование двух сценариев — один из них показал себя лучше. Но если вы опросили мало респондентов, результат может быть ненадёжным.
Например: исследование прошли две группы по 30 человек. В первой целевое действие выполнили 65% респондентов, во второй — 75%. В этом случае вы не можете быть уверены, что второй сценарий действительно будет лучше для генеральной совокупности ваших пользователей. Потому что разница статистически не значима.
Чтобы узнать, значимая ли разница между вариантами ответов — используйте специальный калькулятор.
Также рекомендуем проверять комментарии или развёрнутые ответы респондентов, если они есть. И удалять ответы, которые написаны наобум, неосмысленно или содержат информацию о проблемах в вопросе или макете.
Если доля проблемных ответов существенная — более 10%, советуем исправить ошибку, о которой сообщают респонденты, и провести тест повторно.
Подробнее про немодерируемые исследования читайте в гайде от Pathway.
