Анализ отзывов пользователей с помощью ChatGPT для английского в Яндекс Практикуме
Как мы в Hints за один вечер проанализировали 1000 отзывов учащихся онлайн-курсов английского в России для направления английского в Яндекс Практикуме (подробно и с блок-схемами)
Статья от Анны Дорменевой, тимлида Hints
В прошлой статье я писала о том, как можно использовать искусственный интеллект в исследованиях, и многие попросили меня рассказать, как именно мы применили ChatGPT для а��ализа отзывов пользователей.
При анализе продуктов конкурентов анализ отзывов пользователей позволяет получить информацию, которую вы можете использовать для получения конкурентного преимущества на рынке:
- слабые места в продукте конкурентов или в сервисе вокруг этого продукта;
- бест-практис и преимущества продуктов конкурентов;
- позиционирование в сознании пользователей продукта.
Во времена ручной обработки данных наша методология работы с отзывами выглядела следующим образом:
- спарсить отзывы с отзовика;
- глазами просматривать отзывы и выделять в них те смысловые категории, по которым мы будем оценивать отзывы (например, “удобство платформы”, “качество техподдержки” и так далее), одновременно анализируя просматриваемые отзывы на предмет наличия в них этих категорий;
- подсчитать количество позитивных и негативных отзывов по каждому из параметров;
- на основании этого сделать data driven анализ с выводами о том, что хорошо и что плохо у каждого из конкурентов (это могут быть как рекомендации, так и специальные фреймворки, например, матрица восприятия, которая показывает, как конкуренты в сознании пользователей располагаются по осям, отображающим определенные качества их продукта, например, дорого/доступно, традиционно/технологично).
Ручная обработка имела множество ограничений:
- занимала много времени: один очень хорошо подкованный ассистент мог анализировать до 100 отзывов в час;
- сильно зависела от качества анализа человека: если ассистент торопился, он мог пропускать единицы смысла или неверно их интерпретировать;
- итоговый результат был выражен в цифрах и не давал возможности спуститься обратно на уровень текста и посмотреть, что именно пользователь оценивал негативно или позитивно на уровне каждого конкретного отзыва;
- в процессе анализа отзывов могли вылезать новые категории смысловых единиц и тогда нужно было начинать просмотр отзывов с самого начала или жертвовать вновь обнаруженными категориями.
Как мы с этим справлялись:
- снижали количество исследуемых отзывов, жертвуя, например, положительными отзывами и анализируя только негатив;
- смирялись с упущенными категориями и недостаточно качественным анализом;
- отказывались от анализа отзывов, как от чересчур трудоемкого и слишком приблизительного инструмента анализа.
В процессе работы над анализом рынка для нашего клиента - курсов английского в Яндекс Практикуме - мы решили применить для анализа отзывов о продуктах конкурентов ChatGPT API. Это был очень подходящий кейс для применения ИИ в анализе отзывов:
- нашей задачей было исследовать b2c-продукт, на который пользователи часто и охотно оставляют отзывы, а значит, анализ будет иметь статистически значимый результат;
- у Хинтс большая экспертиза на рынке онлайн-образования, а значит, мы сможем на всех этапах контролировать работу и выводы ИИ, оперативно находить ошибки и дорабатывать метод;
- возможность применить технологичное решение для одного из наших самых технологичных клиентов.
Я описала методологию сбора и анализа отзывов нашему IT-консультанту Евгению Басмову, мы изучили блок-схему процесса, и стало понятно, что в этой задаче искусственный интеллект может заменить человека на многих этапах:
- на основе предварительного анализа предложить категории, по которым будет оцениваться вся масса отзывов (мы оставили возможность после этого этапа доработать список категорий вручную на основе собственного представления о рынке);
- проанализировать отзывы в разрезе категорий - проверить, встречается ли в отзыве единица смысла, которую можно отнести к одной из категорий, и оценить ее эмоциональную окраску (позитив/негатив);
- собрать все единицы смысла, относящиеся к определенной категории и на их основании сделать верхнеуровневые выводы о том, что больше всего волнует пользователей внутри определенной категории.
Какие преимущества анализа отзывов с использованием ИИ:
- значительное ускорение процесса: вместо часа на разбор 100 отзывов, не считая подготовительных и обобщающих аналитических работ, ChatGPT делает всё вместе за пару часов;
- возможность обработки большего количества отзывов: теперь мы можем анализировать отзывы за больший промежуток времени и с большей статистической значимостью, а также не откидывать положительные отзывы для сокращения объёмов работы;
- очень тщательный отбор категорий для анализа: ИИ предлагает большой спектр релевантных категорий, можно добавить дополнительные вручную, и нет необходимости урезать их количество; если в результате по каким-то из категорий не наберется достаточного количества значимой информации, их можно будет откинуть на заключительном этапе - на время анализа это не повлияет;
- итоговый результат сочетает в себе как data-driven аналитику, так и смысловой контекст, к которому можно вернуться, если на уровне цифр обнаружился интересный инсайт, и хочется понять, что конкретно пользователь имел в виду.
Пример отзыва и его анализа с использованием OpenAI:
Один из вариантов представления анализа статистической информации (фрагмент таблицы):
На основании этих данных мы смогли пон��ть, что в продукте наиболее важно для пользователей. Это знание пригодится нашему клиенту на этапе приоритизации внедрения доработок в продукт.
Одновременно с анатилическими таблицами и чартами, построенными на их основе мы автоматически получили саммари по каждой из выделенных категорий по всем конкурентам.
Направления для дальнейшего улучшения и развития метода:
- сейчас значительная часть времени тратится на поиск и парсинг отзывов - кажется, есть возможность передать и эту часть процесса искусственному интеллекту;
- хочется попробовать применить разработку к другим областям маркетинговых исследований, например, к анализу УТП.
В целом, наш опыт использования ИИ в анализе отзывов оказался успешным. Профит для нас: мы экономим время и получаем предсказуемый результат в удобной для дальнейшего анализа форме; профит для наших клиентов: мы можем обработать больше даты, а значит, можем проанализировать отзывы по большему количеству продуктов-конкурентов, за больший период времени, более статистически значимо. И сделать большее количество выводов и рекомендаций по доработке продукта и улучшению его позиционирования.