Как правильно проводить удаленные немодерируемые тестирования?
Отвечает Вячеслав Степанов, Product Manager и UX-lead, UXCrowd.
Особенность удаленных немодерируемых UX-тестов в том, что они проходят без модератора, и респондент взаимодействует с неким софтом.
Плюсы немодерируемых UX-тестов:
1) Комфортные естественные условия для респондента (нет наблюдателя).
2) Нет влияния модератора. Это особенно важно в количественных и сравнительных исследованиях.
3) Можно набрать много респондентов.
4) Экономия времени на этапе проведения и анализа (сервисы для проведения таких тестов предоставляют готовую аналитику). Можно провести тест в рамках спринта до релиза обновления.
5) Дешевле, чем с модератором.
Минусы немодерируемых UX-тестов:
1) Нельзя спросить и уточнить по ходу.
2) Строгий, короткий и предельно ясный сценарий тестирования. Если респондент понял вас некорректно, у вас не будет шанса его поправить.
3) Нельзя повлиять на вовлеченность респондента, если он мало заинтересован.
4) Тесты должны быть короткими (5−10 мин), иначе пользователи устают. Большие тесты придется дробить на части.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Рекомендации по проведению тестов:
1) Слишком много заданий — плохо.
2) Тестирование не должно длиться дольше 20−30 минут.
3) Пользователь должен решать конкретные задачи в ходе теста, а не фантазировать или делать что-то не особо осмысленное.
4) Нельзя задавать пользователям наводящие вопросы.
5) Не пытайтесь вытащить из пользователя решение о том, что нужно переделать.
6) Нельзя давать пользователю подсказки о том, что ему делать.
7) Формулируйте задачу так, чтобы она была максимально приближена к реальному контексту пользователя.
8) Нужно просить пользователя пояснить свою оценку.
9) Одно задание — один вопрос. Если вопросов много, пользователь пропустит какие-то из них.
10) Не задавайте вопросы про будущее вместо вопросов про опыт.
11) Избавляйтесь от длинных и сложных предожений в заданиях.
12) Продумайте критерии успешно выполненного задания.
13) Обязательно проведите пилотный тест.
Пример отчета по результатам тестирования.
Безопасность и выплата вознаграждения:
1) Дайте доступ в свой тестовый кабинет, чтобы пользователю не пришлось регистрироваться в какой-то системе.
2) Предупреждайте респондентов, если нужны их личные данные.
3) Агентства платят вознаграждения. Вы можете подарить сертификаты, скидки.
Нужно ли продакту самому проводить кастдев?
Антон Близнюк, Head of online and affiliate products / B2X Marketing, Мегафон
Кастдев — это хорошо, но есть много нюансов. Он хорошо работает на небольших задачах: если я пойду в UX-лабораторию, мне придется ждать результатов 1−4 недели. В этом случае продакты могут сами пообщаться с пользователями.
Я сомневаюсь, что все продакты умеют правильно проводить кастдев. Я понимаю, что от того, с кем и как ты будешь разговаривать, зависит качество кастдева. Лучше доверять такие исследования профессионалам.
Галина Евланова Head of Market & UX research, МТС
Мы делаем кастдев, но сталкиваемся с разными определениями этого термина. Для меня это простое глубинное интервью. Продакты должны проводить кастдевы, но при участии ресеч-менеджера.
По моему опыту, продакты начинают спорить с клиентами во время интервью. У ресечера не такие KPI, как у продакта, поэтому он может быть беспристрастным.
Наталия Спрогис, UX Research Director, Mail.ru
Главное — какие изменения произойдут в продукте, и для этого продактам правда нужно общаться с аудиторией. Есть разные варианты: общаться самому или вовлекаться в ресеч. История о плохих кастдевах часто личностная: продакт может верить только тем выводам, которые подтверждают его мнение. И в этом случае неважно, сам он проводил кастдев или ему принесли готовые результаты.
Ксения Стернина, Head of UX Research, Arrival
Всё дело в навыках: если они есть или человек хочет научиться, то кастдев проводить нужно. У наших продактов и дизайнеров уже выработан навык ресеча. Мы, со своей стороны, помогаем узнать о новых методах или коучим.
Дмитрий Соловьев, руководитель исследователей, QIWI
Роль продакта неоднородна в зависимости от компании или уровня продукта. Есть продакты, которым кастдев помогает, а есть те, которым он не особо нужен. Мне кажется, кастдев — это ключевой навык предпринимателя. Иногда продакт в компании — это предприниматель на зарплате. Но есть проблема: когда ты смотришь с двух точек зрения, тебе нужно интегрировать их в решение. И у продакта часто так устроены мозги, что он либо слишком доверяет пользователям, либо, наоборот, не доверяет вовсе.
Что такое экосистема?
Гордей Бородин, CPO, МТС
У компаний, которые переходят в состояние экосистемы, есть core-бизнес, вокруг которого эта экосистема строится. На рынке никто не строит экосистему с нуля.
Главное в экосистеме — польза для человека. Экосистема позволяет строить ценностное предложение, которое может покрыть разные потребности человека.
В экосистеме каждый думает не за себя, а над общей ценностью, которая экосистема может дать участникам.
Дмитрий Безуглый, основатель в компании «Системный подход»
Основная особенность системного мышления — как мы посчитаем последствия своих действий. Если у мышей забрать врагов (то есть истребить всех лис), колония мышей потеряет структуру и способность размножаться.
Когда мы говорим об экосистемах, мы говорим о нетривиальных отношениях между игроками. Что если останется только одна доминирующая платформа в экосистеме?
В системе систем надо думать о том, чтобы поддерживать балансы. Каждый игрок понимает, что он — система, и полностью управляет своим развитием и динамикой. Но он должен думать о том, как его действия повлияют на других игроков.
Как понять, где заканчивается платформа и начинается экосистема?
Дмитрий Безуглый, основатель в компании «Системный подход»
Платформа — это базовый набор сервисов, которые доступны всем игрокам. На примере Земли — это солнце, вода, воздух. Но то, что начинается развиваться внутри — взаимодействие между животными, опыление растений и прочее — это уже экосистема.
Разница между естественными и искусственными системами — во втором случае управление системами бывает эффективным и не очень.
Гордей Бородин, CPO, МТС
Экосистема — это, скорее, вектор развития, а не самоцель. Быть на 100% экосистемой — это больше похоже не на рыночные отношения, а на утопию.
По тому, как бренд коммуницирует с рынком, рынок понимает, считать бренд экосистемой или нет.
Алексей Журба, CPO, Beru.ru
Я начинаю думать о платформе как об экосистеме, когда увеличивается ее сложность. Например, когда на платформе становится больше ролей.
Как стать экосистемой и начать измерять ее эффективность?
Гордей Бородин, CPO, МТС
Я отношусь к этой истории, как к вектору развития. Первый шаг трансформации — в голове. Спросите себя, хотите ли вы двигаться в сторону экосистемы.
Вам нужно понять, кого можно назвать клиентом экосистемы. И сделать список продуктов, которые можно включить в экосистему.
В точных KPI тяжело жить, когда строишь экосистему. Целеполагание должно быть векторного типа, и метод OKR выглядит наиболее подходящим.
Дмитрий Безуглый, основатель в компании «Системный подход»
В экосистемах есть барьер между нашей экосистемой и другой частью, то есть барьер входа-выхода. Вы должны понимать границы своей экосистемы.
Игра в персональное доминирование работает только в закрытом сообществе. Но когда вы конкурируете с другими экосистемами, альтруистические группы с более эффективным и экологичным использованием ресурсов побеждают группы, построенные на жестком доминировании.
Вы должны понимать, что является драйвером развития экосистемы. Это часть стратегической работы. Если вы понимаете драйверы развития кризиса, вы также понимаете, вокруг чего будет развиваться конкуренция игроков рынка в кризис.
Алексей Журба, CPO, Beru.ru
Сначала нужно осознать, в какой системе или каких системах вы существуете. Выписать всех, кто влияет на то, как вы работаете: поставщики, клиенты и остальные роли.
На рынке существует парадокс: чем выше уровень экосистемы, тем меньше люди понимают, как это в реальности всё работает. Например, правительство вообще не понимает, как устроен онлайн-ритейл.
Экосистемное мышление — вещь, которую не все понимают. И тогда игроки экосистемы в ответ на любое ваше полезное действие могут всё разрушить.
