Где и как искать респондентов для интервью и опросов на зарубежных рынках (Евросоюз, США)?

Дмитрий Бортницкий — Где и как искать респондентов для интервью и опросов на зарубежных рынках (Евросоюз, США)?

Список сервисов для поиска респондентов на зарубежных рынках

UpWork. Рекрутирование респондентов для исследований (интервью, тестирований). Обычно респонденты более честные, чем на Mturk.

Amazon Mechanical Turk. Краудсорсинговый интернет-рынок. Позволяет частным заказчикам и предприятиям использовать человеческий интеллект для выполнения задач, которые в настоящее время не могут выполнять компьютеры. Здесь много людей, которые врут в скринере, и довольно сложно проверить правдивость ответов. Но при должной сноровке можно организовать даже количественный опрос.

Usertesting.com. Дорого, но по-моему, это идеальное место, если вы часто проводите исследования американской аудитории. При регистрации дают один триальный проект на 10−15 респондентов. В сервисе есть все инструменты и возможности, чтобы проверить, подходит ли вам респондент. Так что здесь решается проблема «невалидности проплаченных респондентов», которую всегда упоминают, когда речь заходит о подобных сервисах. Точно так же рекомендую проверять тех, кого вам находят агентства за большие деньги. По опыту — до 40% респондентов, предоставленных агентствами, могут быть невалидными. 

TestingTime.com. Дорого, удобно. Не забудьте в начале интервью лично проверить, что у респондента действительно есть нужный вам опыт.

Как находить инсайты с помощью удаленных модерируемых UX-тестов — опыт Miro

Краткий гайд по организации опросов

Аудитория и скрининг 

  • Создайте скринер (отсеивающие вопросы), и сначала протестируйте, как он работает. Если он выбирает нужную аудиторию, продолжайте.

Рекрутинг 

  • Что вы хотите от респондента (интервью, участие в тесте, фокус-группе)? Сколько времени у респондента займёт участие? 5 минут? 45 минут? 2 часа? Вознаграждение должно соотноситься с потраченным временем.
  • Ищите респондентов в любом удобном источнике: сервисы, описанные выше, платные панели, LinkedIn, тематические группы в Фейсбуке, друзья друзей, чаты в телеграме.
  • Напишите честно все условия. например: ищу респондентов на 45-минутное интервью за подарочную карточку номиналом 30 евро.

Организация

  • Если респондент ответил на скринер и подходит вам, запишите его на интервью. Используйте календари, которые автоматически переведут ваше время во временную зону респондента и обратно, чтобы не мучиться с часовыми поясами (например, Calendly).
  • Отправьте напоминание и не забудьте за день до созвона уточнить, каким способом удобнее общаться респонденту: по скайпу, телефону, фейсбуку, фейстайму, зуму. Вам может быть все равно, а респонденту проще проходить интервью в привычном для него канале.

В конце интервью поблагодарите респондента и отправьте вознаграждение.

Какое вознаграждение давать респондентам

С вознаграждением не все так однозначно. Например, люди с тематического форума могут с удовольствием согласиться пройти опрос бесплатно, потому что им приятно быть полезными — вознаграждение может даже оттолкнуть их. Ведь не факт, что его размер вообще хоть как-то коррелирует с тем, в какую сумму респондент сам бы оценил своё время и знания, которыми он делится.

Если респондент из США, то в качестве оплаты подойдут, например, подарочные онлайн-карты. Смотрите по стране — сколько обычно платят за интервью на этом рынке. Ориентируйтесь на стоимость часа работы людей, подходящих под ваши требования в искомом регионе.

Зачем Авито «облачные» UX-исследователи и как с ними работать

Почему респондентам из сервисов можно доверять и как бороться с обманом

Мы в основном работаем с UserTesting.com, и пользователи, которые участвуют в наших тестах, проходят несколько этапов проверки. В итоговых результатах учитываются ответы только тех респондентов, которые прошли все этапы проверки. Кто не подходит хотя бы по одному из фильтров и критериев, того система отсеивает.

Вот какие этапы валидации можно организовать в UserTesting. 

До тестирования

  • Фильтр по соцдем-характеристикам. Доступные параметры UserTesting: возраст, доход семьи, пол, занятость, сфера работы, размер компании, должность, уровень в иерархии компании, страна, web expertise, social networks, язык, наличие детей.
  • Скринер. Дополнительные вопросы, которые вы составляете сами. Как правило, для выбора людей с нужным вам опытом. Здесь могут быть любые вопросы в зависимости от того, какие пользователи нам нужны.
  • Рейтинг респондента в системе UserTesting. Есть у каждого пользователя системы. Он складывается из оценок заказчиков теста и зависит от того фидбэка, который дает пользователь. Изредка встречаются пользователи, которые делают все задания «для галочки» и односложно отвечают на вопросы. Они ярко выделяются на фоне других, и заказчики ставят им низкий рейтинг. После этого система автоматически отсеивает их и не пускает на следующие тесты.

Во время тестирования

  • Проверочные вопросы и задания в процессе теста. Могут включать демонстрацию установленных приложений и описание опыта их использования. Даже если респондент не является пользователем нужного приложения, но каким-то образом соврал и пробрался на тест, на этом этапе его обман вскроется.
  • Психологические факторы во время ответов на вопросы: много ли деталей из прошлого опыта описывает пользователь, повторяется ли, упоминает ли новую информацию при последующих взаимодействиях и т.д.

Как видно, в системах опроса процесс отбора достаточно сложный и многоступенчатый — это позволяет найти пользователей с подходящим опытом.

В дополнение к этапам отбора рекомендую почитать несколько справочных разделов UserTesting — они помогут лучше понять принципы определения некачественных ответов и отсева респондентов в опросных системах:

Почему вы неправильно делаете опросы и как это исправить

Особенности работы с MTurk

  1. Достаточно легко организовать опрос на большое число пользователей. 
  2. Респонденты дают много недостоверных ответов, поэтому внутри самого опроса нужно предусмотреть способы проверки. Например, спрашивать Worker ID. В тех же США есть целые сайты и сообщества читеров — один подходящий по характеристикам респондент проходит первичный фильтр и находит опрос, а потом кидает его в такой чат. А там самая разношерстная аудитория, которая по ссылке проходит в систему и получает деньги за фальшивые ответы. Поэтому сравнивайте выгрузку — кому MTurk отправил запрос, а кто проходил тест в SurveyMonkey.
  3. Оплата за участие в опросах небольшая. Можно выставлять $8−12 в час. Оплачивается только то время, которое пользователь потратит, чтобы пройти опрос. Одна минута обходится примерно в $0,2. Но вообще, можно экспериментировать и пробовать запускать опросы за меньшую цену, а потом смотреть, будут ли собираться пользователи.
  4. Для оплаты понадобится карта американского банка или аккаунт в PayPal.

Чуть больше про Usertesting.com и немодерируемые тесты

Доклад Дмитрия по деталям работы с UserTesting: «Инсайты и лайфхаки по немодерируемым тестам и интервью»