Супер-простой анализ отзывов с помощью GPT

Для менеджера по продукту отзывы пользователей – это бесценный источник знаний о проблемах, запросах, пожеланиях и юзкейсах аудитории. Но есть нюанс: анализировать текстовые отзывы вручную тяжело, поэтому команды часто их игнорируют целиком или анализируют отзывы редко и несистемно.

Мы решили упорядочить анализ и систематизацию отзывов пользователей с помощью GPT. В итоге получился полностью автоматизированный дашборд, который обновляется каждый день и приносит много пользы и инсайтов.

В статье мы затронем следующие вопросы:

Для реализации будем использовать следующие технологии:

Сначала расскажем как выглядит наш дашборд по отзывам, а потом – как мы его сделали.

Мы хотели сделать лаконичный дашборд, на который можно зайти, проскроллить одну страничку и быстро получить срез текущих настроений пользователей. А если что-то заинтересовало, “провалиться” вглубь и почитать тексты конкретных отзывов.

Дашборд обновляется ежедневно и автоматически.

Вот какую информацию мы выводим.

Нам нравится, когда есть одна общая метрика, на которую удобно быстро посмотреть.

Для работы с фидбеком обычно используется метрика NPS (Net Promoter Score). Она рассчитывается на основе ответа на вопрос: "Насколько вероятно, что вы порекомендуете наш продукт/услугу друзьям или коллегам?", где респонденты ставят оценку от 0 до 10.

При расчете NPS используется такое упрощение:

Дальше NPS рассчитывается по стандартной формуле

NPS= %Промоутеров − %Критиков

Численная оценка есть не всегда, но NPS все равно можно попробовать оценить на основе текстовых отзывов, используя Sentiment Analysis (анализ тональности).

С помощью GPT мы оценили тональность отзыва: положительный (промоутеры) / нейтральный / негативный (критики) – и получили возможность рассчитать NPS по всем отзывам.

Получилось удобно.

Категории отзывов мы продумали до начала автоматизации. Это полу-ручной процесс.

Сначала мы собрали фидбек бизнес-пользователей: выяснили, какие темы их больше всего интересуют в отзывах. А затем показали существующие отзывы GPT и попросить предложить категоризацию.

На основании бизнес-запроса и базового анализа с помощью GPT, собрали список основных категорий пользовательского фидбека.

У нас получилось так:

Удобно, когда категорий верхнего уровня получается 7 +/- 2.

Итак, для каждого отзыва мы знаем категорию и тональность, и мы можем построить первый интересный отчет.

Видно, что хотя пользователи в целом довольны продуктом и сервисом, к работе сайта есть вопросы.

На основании того же набора данных можно построить динамику по категориям отзывов по месяцам. Видно, что в ноябре сильно выросло количество фидбека про работу сайта, интересно, что произошло?

Для каждой из наших категорий отзывов мы построили динамику положительных, отрицательных и нейтральных отзывов.

Ого, что-то случилось в ноябре – мы видим пик отрицательных отзывов по сайту. Что не нравится пользователям?

Для того, чтобы отслеживать типичные мотивы в фидбеке пользователей, для каждой категории отзывов выделим основные темы.

Теперь выгружаем все отзывы по категории Website, загружаем их в GPT и просим проанализировать и найти основные темы.

Смотрим на ответ GPT, редактируем и фиксируем конкретный список типичных тем для каждой категории.

Наш анализ принес тему “Issues with the New Site” с самым большим количеством негативных комментариев, очень интересно!

Теперь мы знаем, что произошло. В ноябре был релиз новой версии сайта, и люди стали массово писать о проблемах!

Этот отчет помогает нам отслеживать, как меняется динамика отзывов с конкретной темой по месяцам: например, растет или падает количество отзывов с темой Issues with the New Site.

Итак, мы поняли, что обновление сайта людям не очень понравилось. Но в чем конкретно дело?

Мы можем собрать все отзывы категории Website за неделю и попросить GPT подготовить краткую сводку. Эти сводки будем автоматически готовить раз в неделю и сохранять в базу, чтобы вывести на дашборд.

На мой взгляд, виджет с автоматической сводкой – это самый полезный виджет на нашем дашборде, потому что позволяет не только посмотреть на цифры, но и прочитать executive summary того, что пользователи писали в течение недели. Как будто ваш стажер наконец подготовил внятный отчет.

Также оставим возможность посмотреть исходный текст отзывов. Для этого все отзывы переведем на один язык (в нашем случае – на английский).

Все наши отчеты мы строим по данным такого формата:

Для того, чтобы получить значения review_text_translated, sentiment, category, topic и summary воспользуемся помощью GPT.

Для этого нам понадобится несколько промптов:

(Можно попробовать получить все ответы одним промптом, но это добавляет ошибок).

Также нам понадобится промпт, который делает summary из текстов отзывов за неделю.

Для того, чтобы собрать пайплайн обработки одного отзыва с помощью GPT мы воспользовались AI-оркестратором – сервисом, который позволяет в визуальном интерфейсе собрать и протестировать цепочку промптов. Мы использовали внутренний инструмент, но можно было бы воспользоваться n8n или Langflow.

AI-оркестратор позволяет настроить логику обработки текстов в визуальном интерфейсе без программирования и реализует API-endpoint, к которому можно обратиться программно.

AI-оркестратор работает как API. С помощью Python мы:

Скрипт запускается ежедневно для обработки новых отзывов.

Готово.

Благодаря такой визуализации:

Анализ фидбека – это возможность реально улучшить продукт. С автоматизацией всё становится быстрее, проще и понятнее.

Если вы сталкиваетесь с трудностями в обработке отзывов, возможно, наш подход поможет вам сделать процесс более эффективным и сфокусированным на реальных потребностях ваших клиентов.

За идею и реализацию спасибо Евгении Новосилецкой, аналитику агентства Эпоха Восемь.