Список сервисов для поиска респондентов на зарубежных рынках
UpWork. Рекрутирование респондентов для исследований (интервью, тестирований). Обычно респонденты более честные, чем на Mturk.
Amazon Mechanical Turk. Краудсорсинговый интернет-рынок. Позволяет частным заказчикам и предприятиям использовать человеческий интеллект для выполнения задач, которые в настоящее время не могут выполнять компьютеры. Здесь много людей, которые врут в скринере, и довольно сложно проверить правдивость ответов. Но при должной сноровке можно организовать даже количественный опрос.
Usertesting.com. Дорого, но по-моему, это идеальное место, если вы часто проводите исследования американской аудитории. При регистрации дают один триальный проект на 10−15 респондентов. В сервисе есть все инструменты и возможности, чтобы проверить, подходит ли вам респондент. Так что здесь решается проблема «невалидности проплаченных респондентов», которую всегда упоминают, когда речь заходит о подобных сервисах. Точно так же рекомендую проверять тех, кого вам находят агентства за большие деньги. По опыту — до 40% респондентов, предоставленных агентствами, могут быть невалидными.
TestingTime.com. Дорого, удобно. Не забудьте в начале интервью лично проверить, что у респондента действительно есть нужный вам опыт.
Как находить инсайты с помощью удаленных модерируемых UX-тестов — опыт Miro
Краткий гайд по организации опросов
Аудитория и скрининг
- Создайте скринер (отсеивающие вопросы), и сначала протестируйте, как он работает. Если он выбирает нужную аудиторию, продолжайте.
Рекрутинг
- Что вы хотите от респондента (интервью, участие в тесте, фокус-группе)? Сколько времени у респондента займёт участие? 5 минут? 45 минут? 2 часа? Вознаграждение должно соотноситься с потраченным временем.
- Ищите респондентов в любом удобном источнике: сервисы, описанные выше, платные панели, LinkedIn, тематические группы в Фейсбуке, друзья друзей, чаты в телеграме.
- Напишите честно все условия. например: ищу респондентов на 45-минутное интервью за подарочную карточку номиналом 30 евро.
Организация
- Если респондент ответил на скринер и подходит вам, запишите его на интервью. Используйте календари, которые автоматически переведут ваше время во временную зону респондента и обратно, чтобы не мучиться с часовыми поясами (например, Calendly).
- Отправьте напоминание и не забудьте за день до созвона уточнить, каким способом удобнее общаться респонденту: по скайпу, телефону, фейсбуку, фейстайму, зуму. Вам может быть все равно, а респонденту проще проходить интервью в привычном для него канале.
В конце интервью поблагодарите респондента и отправьте вознаграждение.
Мы пишем о менеджменте продуктов и развитии в телеграм-каналах make sense и Продуктовое мышление.
Какое вознаграждение давать респондентам
С вознаграждением не все так однозначно. Например, люди с тематического форума могут с удовольствием согласиться пройти опрос бесплатно, потому что им приятно быть полезными — вознаграждение может даже оттолкнуть их. Ведь не факт, что его размер вообще хоть как-то коррелирует с тем, в какую сумму респондент сам бы оценил своё время и знания, которыми он делится.
Если респондент из США, то в качестве оплаты подойдут, например, подарочные онлайн-карты. Смотрите по стране — сколько обычно платят за интервью на этом рынке. Ориентируйтесь на стоимость часа работы людей, подходящих под ваши требования в искомом регионе.
Почему респондентам из сервисов можно доверять и как бороться с обманом
Мы в основном работаем с UserTesting.com, и пользователи, которые участвуют в наших тестах, проходят несколько этапов проверки. В итоговых результатах учитываются ответы только тех респондентов, которые прошли все этапы проверки. Кто не подходит хотя бы по одному из фильтров и критериев, того система отсеивает.
Вот какие этапы валидации можно организовать в UserTesting.
До тестирования
- Фильтр по соцдем-характеристикам. Доступные параметры UserTesting: возраст, доход семьи, пол, занятость, сфера работы, размер компании, должность, уровень в иерархии компании, страна, web expertise, social networks, язык, наличие детей.
- Скринер. Дополнительные вопросы, которые вы составляете сами. Как правило, для выбора людей с нужным вам опытом. Здесь могут быть любые вопросы в зависимости от того, какие пользователи нам нужны.
- Рейтинг респондента в системе UserTesting. Есть у каждого пользователя системы. Он складывается из оценок заказчиков теста и зависит от того фидбэка, который дает пользователь. Изредка встречаются пользователи, которые делают все задания «для галочки» и односложно отвечают на вопросы. Они ярко выделяются на фоне других, и заказчики ставят им низкий рейтинг. После этого система автоматически отсеивает их и не пускает на следующие тесты.
Во время тестирования
- Проверочные вопросы и задания в процессе теста. Могут включать демонстрацию установленных приложений и описание опыта их использования. Даже если респондент не является пользователем нужного приложения, но каким-то образом соврал и пробрался на тест, на этом этапе его обман вскроется.
- Психологические факторы во время ответов на вопросы: много ли деталей из прошлого опыта описывает пользователь, повторяется ли, упоминает ли новую информацию при последующих взаимодействиях и т.д.
Как видно, в системах опроса процесс отбора достаточно сложный и многоступенчатый — это позволяет найти пользователей с подходящим опытом.
В дополнение к этапам отбора рекомендую почитать несколько справочных разделов UserTesting — они помогут лучше понять принципы определения некачественных ответов и отсева респондентов в опросных системах:
Особенности работы с MTurk
- Достаточно легко организовать опрос на большое число пользователей.
- Респонденты дают много недостоверных ответов, поэтому внутри самого опроса нужно предусмотреть способы проверки. Например, спрашивать Worker ID. В тех же США есть целые сайты и сообщества читеров — один подходящий по характеристикам респондент проходит первичный фильтр и находит опрос, а потом кидает его в такой чат. А там самая разношерстная аудитория, которая по ссылке проходит в систему и получает деньги за фальшивые ответы. Поэтому сравнивайте выгрузку — кому MTurk отправил запрос, а кто проходил тест в SurveyMonkey.
- Оплата за участие в опросах небольшая. Можно выставлять $8−12 в час. Оплачивается только то время, которое пользователь потратит, чтобы пройти опрос. Одна минута обходится примерно в $0,2. Но вообще, можно экспериментировать и пробовать запускать опросы за меньшую цену, а потом смотреть, будут ли собираться пользователи.
- Для оплаты понадобится карта американского банка или аккаунт в PayPal.
Чуть больше про Usertesting.com и немодерируемые тесты
Доклад Дмитрия по деталям работы с UserTesting: «Инсайты и лайфхаки по немодерируемым тестам и интервью»
