Как ускорить проведение качественного исследования? Семь рекомендаций и три барьера
Можно ли встроить качественное исследование в бизнес-процесс, задав ему жесткие временные рамки?
Всем интересно, можно ли ускорить проведение качественного исследования. На исследование завязана разработка продукта. Скорее выясним – скорее запустимся.
Есть множество пошаговых инструкций по проведению исследований. Но нигде не написано, как сделать это быстро.
Тем не менее, ускорить качественное исследование возможно. Есть два основных способа это сделать: экономично «срезать углы», отсекая некоторые практики, или увеличить масштабы вливания денег и человеко-часов.
Но первый вопрос, который стоит себе задать: а оно нам надо?
ЗАЧЕМ ускорять проведение качественного исследования? В чем ваша цель? Будут ли сверхусилия и деньги, затраченные на это ускорение, стоить результата?
Потому что качественные исследования похожи на «парадокс ремонта в России»: «быстро, дешево и качественно – выбери любые два», - и это первая проблема с ускорением.
Любое ускорение качественного исследования будет означать для вас либо увеличение его стоимости (прямое – через расходы или косвенное – через человеко-часы), либо снижение его качества (жертвуем деталями, чтобы скорее узнать ответ на главный вопрос). Иногда лучше потратить больше времени и получить более качественную аналитику.
Дисклеймер: в этой статье мы рассматриваем, как ускорить качественные исследования без существенной потери качества, - а не как сделать их более качественными или более комфортными для исследователя.
Чтобы было понятнее, мы отмаркировали значками приемы, которые позволяют сократить время, затраченное на исследование:
⏱ – некоторое ускорение.
⏱⏱ – значительное ускорение.
💰 – некоторая трата денег.
💰 💰 – значительная трата денег.
☠ – применяйте на свой страх и риск. Возможны проблемы.
Качественное исследование – это подготовка, поле и аналитика. Какие действия можно предпринять для ускорения на каждом из этих этапов?
I. ПОДГОТОВКА К ИССЛЕДОВАНИЮ: НАЙТИ РЯДОВОГО РАЙАНА
Как ускорить исследование на этапе рекрута:
Выделите типовые проекты. Сделайте шаблоны для рекрута типовой ЦА – отборочные анкеты (скринеры) и критерии рекрута, найдите рекрутеров или агентство, которые быстро ищут таких людей и оперативно заменяют тех, кто не подошел. Это позволяет сократить сроки проведения рекрута. ⏱
Оптимизируйте внутренние процедуры: если вы работаете инхаус, можно улучшить процедуры поиска респондентов вашими SMM и колл-центром. Например, если вы знаете, что SMM-отдел делает свои рассылки по пятницам, и в четверг дадите ему текст и ссылку на гугл-форму с анкетой, то к понедельнику у вас будет база желающих принять участие в исследовании, а на вторник уже можно назначать первые интервью. ⏱⏱
Создайте пул респондентов: если вы работаете инхаус, можно создать базу тех, кто согласен участвовать в исследовании, и приглашать людей через рассылку по этим спискам. Базу желательно обновлять раз в 2-3 недели: люди могут забыть о данном согласии или передумать. Важно: вы создаете базу «одноразовых» респондентов, а не «ходоков». Нельзя использовать одних и тех же людей несколько раз подряд. ⏱
Окей, вы проработали процедуры, но люди набираются не быстро. Тогда можно увеличить вознаграждение: давать респондентам за участие что-то значимое. Например, эквивалент услуг в размере 3000 рублей и выше, если у вас платный сервис. 💰⏱
Важный принцип: исследователь НЕ МОЖЕТ заниматься рекрутом на постоянной основе. Иногда получается так, что и он, и вся продуктовая команда в мыле ищет людей из труднодостижимой ЦА – но это состояние не должно быть хроническим. Рекрут – это отдельная и довольно трудоемкая работа. Нет смысла тратить на нее ресурс исследователя. Рекрутировать должны рекрутеры.
Второй важный принцип: не рваться на британский флаг. Время проведения интервью определяет исследователь, а не респондент. Если это, опять же, не сложная ЦА, например, B2B. Если респондент не может явиться в то время, когда удобно исследователю, а готов участвовать только в 8 утра в субботу – ищите другого респондента. 💰⏱⏱
II. Полевой этап. ВЫЙДУ НОЧЬЮ В ПОЛЕ С КО... КОМАНДОЙ
Одно из ключевых изменений в исследованиях за последние 20 лет – тот факт, что интеграция в исследования заказчика (и внутреннего, и внешнего) существенно выросла. В типичном случае исследователь больше не работает в отрыве от команды. И это хорошо и правильно.
Поэтому по умолчанию предполагаем, что рядом с вами все это время будет команда, и с ней у вас будут постоянные обсуждения интервью, синки, промежуточные отчеты, воркшопы...
И вам будет казаться, что команда вас тормозит - но на самом деле, это вы ее ускоряете.
Сам факт участия заинтересованной команды может замедлять процесс исследования, но ускорять процесс разработки.
Чем раньше команда погрузится в результаты исследования, тем быстрее она начнет думать над стратегией и тем сильнее эта стратегия будет опираться на выявленную в ходе исследования реальность.
Важно: у команды должен быть опыт совместной работы, иначе вы потратите неоправданно много времени на то, чтобы она сработалась. Если команда свежесозданная, необходимо распределить роли, разработать протоколы совместной работы и познакомить с ними всех участников.
В идеальном случае исследователь выступает как «играющий тренер»: ему принадлежит ведущая роль в формировании общего видения.
Но в реальности у команды часто есть свои идеи насчет того, какой должна быть общая картина. И тогда исследователь может чувствовать себя как христианский миссионер, который проповедует туземцам, а у них нет концепции единого бога, и они даже не могут ее воспринять. Может получиться нечто вроде: «Ну да, твой Христос – отличный бог. Мы поставим его на полочку вместе с бароном Субботой и Черной Мамбой и будем молиться им вместе».
Проблема на этом этапе: рассогласованное видение внутри команды и у заказчиков. Поскольку для итогового продукта важно общее видение, лучше синхронизироваться в процессе интервью, а не как-нибудь потом. Можно, конечно, и потом, но перестроить ментальную модель в голове заказчика после проведения всех интервью обычно сложнее, чем в процессе.
Что можно сделать для ускорения собственно исследовательской работы на полевом этапе?
Можно оптимизировать расписание так, чтобы один исследователь проводил четыре глубинных интервью в день. Можно и пять, но я все-таки рекомендую четыре: по моему опыту, это максимальное количество интервью, которое один исследователь может провести за день без потери качества.
Что можно сделать, чтобы у вас было 4 интервью в день – кроме хорошего рекрута?
Рекрутировать запасных респондентов, записывая на одно время двоих на случай неявки одного из респондентов. Если явятся оба (не важно, виртуально или в реальном мире) – выберите одного, а второму отдайте чуть меньшее вознаграждение. Можно рекрутировать на одно интервью не двух респондентов, а больше, если рекрут идет по базе, и вы не уверены в явке. Это снимает проблему, когда респондент отменяет интервью и у вас возникает «дырка» в расписании. 💰⏱
«Командная работа». Второй и третий исследователь могут вести интервью параллельно с вами и/или делать заметки. Если это исследователи одной квалификации, то, когда один из них ведет интервью или фокус-группу, другой может делать заметки. Затем они могут меняться. Если они разной квалификации, то заметки может вести квалифицированный ассистент. 💰💰 ⏱⏱
Важно: запасные респонденты, хороший рекрут и привлечение нескольких исследователей сильно увеличивают стоимость исследования. 💰💰
АНАЛИТИЧЕСКИЙ ЭТАП: УТРОМ РАСШИФРОВКИ, ВЕЧЕРОМ ИНСАЙТЫ
Многое из того, что касается транскриптов, можно просто сделать заранее, и это не будет стоить больших денег и значительных усилий. Можно, например:
Делать заметки в процессе или после проведения интервью/фокус-групп. После, в конце дня, во многом предпочтительнее – поскольку это меньше отвлекает от самого интервью (а на фокус-группе одновременно с проведением делать заметки в принципе невозможно!). Если не получается делать заметки письменно, можно наговаривать их на диктофон и потом расшифровывать. Важно: заметки имеет смысл делать, привязывая их к смысловым блокам гайда или к конкретным вопросам – так вам будет проще обобщить инфу. Заметки можно дать почитать команде – чтобы она тоже подумала вместе с вами. ⏱⏱
Помечать важные куски кодовым словом во время интервью. Когда респондент говорит важную вещь, вы произносите: «О, любопытно!» (или другое редкое, но нейтральное слово, которое не повлияет на дальнейший ход интервью), а затем ищете этот маркер в транскриптах. ⏱
Отдавать транскрипты на расшифровку СРАЗУ после проведения интервью. Для этого важно иметь МНОГО хороших транскриберов. Тогда после того, как вы закончите проведение интервью, вам потребуется всего 1-2 дня на то, чтобы получить финальные транскрипты. Большой плюс работы с текстом – вам не потребуется пересматривать проведенные интервью. ⏱⏱
На этом месте я прямо слышу миллион голосов: «А зачем вообще нужны транскрипты?». ☠
Поэтому о транскриптах – отдельно.
Есть проекты из нескольких интервью, которые можно не расшифровывать, поскольку их легко удержать в голове.
Но вы НЕ обойдетесь без транскриптов, если:
Количество интервью на проекте больше 10. Пропускная способность вашего мозга и возможности памяти ограничены. После определенного количества интервью вам будет все сложнее запоминать новые случаи, а высказывания отдельных респондентов будут путаться. Заметки не всегда могут в этом помочь из-за их неполноты, а пересматривать интервью – слишком долго.
Если на проекте работает несколько исследователей, без транскриптов история вашей синхронизации будет историей с ощупыванием слепыми слона. Каждый будет представлять его по-своему, а вам нужно прийти к единому согласованному мнению.
Если в проекте участвуют аналитики, которые сами не проводили интервью, им нужно с чем-то работать.
Ваш отчет будет читать большое количество людей, не вовлеченных в процесс исследования – они захотят видеть подтверждение тезисов отчета цитатами респондентов.
Самое важное, хотя это не имеет отношения к скорости. Транскрипты повышают качество вашей аналитики. Читая транскрипты, вы можете найти инсайты, которые не заметили в ходе интервью – потому что восприятие участника и наблюдателя различается.
И последнее: о том, кто делает транскрипты. Никогда, вообще никогда не расшифровывайте интервью самостоятельно. Использование исследователя в качестве транскрибера оправдано не больше, чем использование микроскопа в качестве молотка. Дорого, неэффективно, ставит под угрозу основную функцию. Используйте разделение труда:
Создайте пул квалифицированных транскриберов. ⏱
- Или используйте для расшифровок искусственный интеллект. Кирилл Улитин написал подробный мануал, как можно расшифровывать аудиозаписи с помощью API«Яндекса» ⏱⏱
АНАЛИТИЧЕСКИЙ ЭТАП: ДУМАТЬ БЫСТРЕЕ
Одна женщина вынашивает ребенка за девять месяцев. За сколько месяцев могут выносить ребенка девять женщин?
Оптику во встраивании исследования в бизнес-процессы задают UX-тесты. Считается, что они просто и предсказуемо вписываются в роадмэп проекта.
Хотя на самом деле на UX-тестах можно получить совершенно неожиданный или необъяснимый результат, после которого для понимания того, как лучше действовать, нужно исследовать дальше, и это дополнительное исследование меняет сроки разработки.
Но в общем случае UX-тесты хорошо ложатся на практику спринтов.
И возникает соблазн перевести эту практику на глубинные интервью, урезав время на аналитику до нуля.
Проблема в том, что UX-тесты – это «поведенческое» исследование, в рамках которого вы даете человеку задания и смотрите, как он их выполняет. Этот вид исследования довольно очевиден сам по себе: чего пользователи не смогли сделать в вашем продукте, то и проблема. Аналитики как таковой нет, есть среднее арифметическое успешности выполнения сценариев.
Глубинные интервью, в отличие от UX-тестов, – это «отношенческие» исследования. Мнения людей о чем-либо гораздо более разнообразны, чем выполнение ими сценариев на сайте/в приложении.
Поэтому и аналитика, полученная в результате качественных исследований, бывает разная:
Дескриптивная – когда просто хорошо описано то, что респонденты сказали в ответ на ваши вопросы. Делается быстро.
Объяснительная – когда вы понимаете, что и как они делают, что является причиной их поведения и куда в их опыт можно встроить ваш продукт. Делается не так быстро.
Подавляющее большинство UX-исследований дескриптивны. То есть, исследователь тут как акын: что увидел – о том и спел. И это дает опасную иллюзию, что глубинные интервью – это такая же штука: пользователи нам что-то расскажут, мы опишем, и это будет аналитика.
То, что люди сообщают в глубинном интервью, должно подвергаться критическому анализу.
Нельзя считать выводами и рекомендациями мнения респондентов, которые просто встречались чаще, чем другие. Не всегда то, что пользователи говорят, и то, что они делают и планируют делать – одно и то же. Необходимо осмысливать потребности ваших пользователей, контекст их возникновения и факторы, которые стоят за поведением респондентов.
И тут возникает третья проблема:
вы не можете значимо ускорить аналитическую работу отдельно взятого человека, потому что анализ – это творческая работа. Чтобы объяснить поведение другого человека, исследователю надо подумать. А чтобы подумать, нужно время.
Дальнейшие рекомендации по ускорению работы с качественными исследованиями будут касаться разных аспектов, но всегда имейте в виду, что аналитическая часть ускоряется хуже всего.
ФОРМАТ ОТЧЕТА: МОЖЕТ БЫТЬ, ВСЕ ЖЕ СТИКЕРАМИ В ТЕЛЕГЕ?
О формате отчета и о том, нужен ли он вообще, лучше договориться, когда вы обсуждаете цели и задачи и планируете исследование. Возможно, вам не нужен большой отчет вообще, а нужны лишь ответы на два-три ключевых вопроса, чтобы двигаться дальше. Это стоит делать не только инхаус: если вы четко и понятно поставите задачу агентству («нам нужно тридцать слайдов, а цитаты не нужны»), это тоже может существенно ускорить работу.
Варианты отчета:
Только нужное: оптимизация требований к отчету и результатам исследования позволяет не выполнять часть работ, которые в классическом рисече обязательны. Например, не вставлять цитаты респондентов в отчет – а на это требуется время. ⏱
Не писать отчет вообще. Вместо отчета можно сразу формулировать выводы и рекомендации + action plan и ограничиться воркшопом, на котором наблюдатели и исследователи обсудят результаты. Важно: для такой практики нужна высокая квалификация всей команды и согласованное понимание реальности. ⏱⏱
Если вы все же решили, что вам нужен отчет, можете использовать разделение труда, привлекая больше рабочих рук внутри исследовательской группы:
больше исследователей для параллельного написания разных частей большого отчета; ⏱⏱💰💰
больше квалифицированных ассистентов для группировки или кодировки цитат из транскриптов и выполнения другой технической работы по отчету, включая создание его черновых вариантов. ⏱💰
При делегировании важно не превратиться в Тима Ферриса, который отдал всю свою работу индусам, а сам уехал отдыхать в Таиланд. Кто бы ни работал над интервью и отчетами, итоговый продукт доводите до приемлемого для заказчика качества лично вы, вы же за него и отвечаете.
ЗАПРЕЩЕННЫЕ ПРИЕМЫ
Некоторые способы ускорения можно использовать только с риском для качества исследования:
Сокращение количества респондентов. В спорах про «достаточную» выборку для качественного исследования сломано много копий и единодушного мнения нет (нет, «5 человек» Нильсена, пожалуйста, оставьте для UX-теста). Мы рекомендуем брать 6 человек на сегмент ЦА, которую вы изучаете. Если респондентов меньше, будьте готовы к тому, что вы упустите часть практик и, возможно, целые сегменты, и соберете только «low handling fruits» ⏱⏱☠☠
«Вижу Saturation». Критерий успешности качественного исследования – информационное насыщение (saturation). Считается, что когда новые интервью не привносят новой информации, то с ними можно заканчивать. И когда исследователь провел по 3-4 интервью на сегмент и видит повторяющиеся паттерны, то может возникнуть соблазн остановиться и пойти писать отчет. Это допустимо, но для простых вопросов и проектов. В нашей практике были случаи, когда информационное насыщение не достигалось даже на 30 респондентах – мы продолжали получать все новые и данные. ⏱☠
✅ И в заключение - короткий чеклист по приемам:
Разработайте протоколы для рекрута и запуска исследования.
Не экономьте на рекруте: отдайте его на аутсорс, увеличивайте вознаграждение и находите запасных респондентов.
Сформируйте эффективное расписание, чтобы исследователь не простаивал.
Примите решение по расшифровкам: если они нужны, то делайте их быстро. Не выполняйте их сами.
Пишите или надиктовывайте заметки по горячим следам.
Формируйте слаженную команду проекта, освободите исследователя от технической и рутинной работы, чтобы он сосредоточился на аналитике.
Привлекайте к работе над исследованием как можно больше людей.
- Примите решение по формату отчета: нужен ли он, и если да, то в каком виде.
🛑 Барьеры на пути к ускорению:
Люди и деньги: заметно ускорить исследование без потери качества можно только за счет привлечения на проект материальных и физических ресурсов.
Время на синхронизацию: командная работа над исследованием требует отдельного времени и ресурсов на выработку единодушного видения проблемы и синхронизацию.
- Пропускная способность мозга: аналитическая работа ускоряется хуже всего.
🧯 Техника безопасности при ускорении:
Не забивать гвозди микроскопом (исследователь не рекрутирует респондентов и не расшифровывает интервью).
Не рваться на британский флаг (исследователь не проводит интервью в 6 утра в субботу, потому что это удобно респонденту, и не назначает больше 4 глубинных интервью в день).
Это было о том, как ускорить. О качестве - о том, как хорошо писать отчёт, проводить интервью, и другие волнующие вещи вы можете узнать в нашем курсе «Качественные исследования: от планирования до отчета» , который стартует в январе 2021 года.
Мы благодарим Марию Лагутину, Александра Бугакова, Надежду Линцову, Ксению Стернину, Александра Фенина, Константина Айзенберга, Раису Левшину, Дарью Шмидт, Дмитрия Налетова, Владимира Изгаршева, Кирилла Улитина, Максима Скрябина, Елизавету Широкову и Аллу Харионовскую за помощь в систематизации приемов.
На наш телеграм-канал про исследования можно подписаться здесь: https://t.me/postpostresearch/
Спасибо! Как раз тема актуальна