Как за 15 минут проанализировать десятки тысяч постов о своей компании и найти те, на которые необходимо ответить
Привет! Меня зовут Дима Наумовец, я руковожу службой коммуникаций в социальных сетях в «Яндексе». Ежедневно нашей команде нужно фильтровать тысячи упоминаний из интернета и находить среди них те, на которые нужно ответить.
О том, как мы организовали этот процесс, и пойдёт речь в моём посте.
Мониторинг социальных сетей — не новость: первые сервисы, которые отлавливали упоминания в интернете, появились ещё десять лет назад. Но до сих пор существует проблема: как автоматизировать фильтрацию упоминаний, чтобы читать только важное, а всё неважное откладывать в сторону?
Если про компанию пишут немного: например, до десяти упоминаний в день, то фильтровать можно самостоятельно. Обычно это происходит так: прочитали упоминание, проанализировали, приняли решение.
Важное показали коллегам из клиентского сервиса, неважное пометили в системе мониторинга. Если упоминаний несколько сотен в день, то потребуется штат помощников. Но бывает, что компанию упоминают тысячи раз в день: большей частью вскользь или чтобы привлечь внимание к посту.
Яндекс ежедневно упоминают в соцсетях более 80 000 раз. То есть каждую секунду в интернете что-то пишут о Яндексе или каком-то из его сервисов. Наша цель — разбирать этот поток за 15 минут. Через четверть часа после попадания в мониторинг операторы из службы коммуникаций в соцсетях должны получать в работу упоминания, на которые нужно ответить.
Краудсорсинг
Для такого разбора требуется в среднем около 30 штатных сотрудников. Это дорого и не слишком эффективно, поэтому мы построили собственную систему фильтрации упоминаний. Сердце этой системы — краудсорсинговая платформа Толока. Она разработана в Яндексе и доступна всем желающим. В Толоке ежедневно работает около 25 тысяч исполнителей (толокеров), которые выполняют простые задания за вознаграждение. Например, они могут определить, что изображено на картинке, выбрать из нескольких вариантов самый подходящий или дойти до указанной точки и сфотографировать нужный объект.
Фильтрация упоминаний в целом — слишком сложная задача для толокеров. Зато её можно разбить на несколько простых задач: определить сервис, оценить тональность (позитивная, негативная или нейтральная), определить важность сообщения. С такими задачами толокеры прекрасно справятся — достаточно дать им небольшую и понятную инструкцию.
Первая простая задача. Отделить важное от неважного
Все упоминания делятся на три группы:
Бесполезные. Это спам и оффтоп: «Читайте наш канал в Яндекс.Дзене…», «Вот мой Яндекс.Кошелёк…» или «Мой пёс по кличке Яндекс сегодня учудил…»
Неважные. Это упоминания по касательной, а также не требующие внимания или реакции: «Читал в Яндексе, что Кай Метов выпустил новый альбом…», «Тебя что, в Яндексе забанили?»
- Важные. Отзывы, пожелания, сообщения о проблемах и другие упоминания, которые требуют реакции: «Мне поиск у Яндекса нравится намного больше…», «Удаляю все приложения Яндекса…»
Вторая простая задача. Понять, о каком сервисе или продукте идёт речь
Часто на этот вопрос можно ответить автоматически. Часто, но не всегда.
О какой аналитике идёт речь? Это может быть Драйв, Диск, Деньги, Дзен, Директ и даже Еда (когда пользователи ругают сервис, они иногда называют его «Яда»). Здесь толокеру поможет контекст: например, название чата или тема обсуждения. Кстати, правильный ответ в этом случае Яндекс.Директ.
Третья простая задача. Определить тональность
Упоминания делятся на позитивные, нейтральные и негативные. Системы мониторинга соцсетей умеют определять тональность автоматически, но не всегда делают это точно. Вот пример:
- В чате пользователей колонок Яндекса произошла утечка видео с работающей колонкой, которой можно управлять жестами
- Яндекс официально объявил о выходе новой мини-версии Яндекс.Станции
Первое сообщение система мониторинга посчитает негативным, а второе — позитивным. Однако важна не сама новость, а отношение к ней пользователей, поэтому на самом деле тональность обоих сообщений — нейтральная.
Другой пример:
Яндекс.Пробки показывают 10 баллов! АААААА, как же невовремя это всё(( Просто ужас какой-то!
Это упоминание мониторинг посчитает негативным. Толокеры же — живые люди, они понимают, что человек недоволен не работой сервиса, а ситуацией на дорогах.
Контроль качества
Чтобы упоминания фильтровались качественно, толокеров нужно готовить и контролировать.
Для каждого задания нужно подготовить инструкцию и допускать к работе только тех, кто прочёл её и прошёл онлайн-тестирование — его можно организовать прямо в Толоке.
Чтобы свести к минимуму влияние отдельных ошибок, можно использовать перекрытие: каждое упоминание размечает не один человек, а несколько.
Чтобы отсеять недобросовестных исполнителей, которые просто тыкают куда попало, пригодятся ханипоты. Так называются «проверочные» задания с известным ответом, которые подмешиваются к ещё не размеченным упоминаниям.
Изменения нагрузки
Толокеры работают круглосуточно, поэтому фильтрация не останавливается ин днём, ни ночью. Если в соцсетях штиль, исполнители занимаются другими задачами. А когда начинается буря, и количество упоминаний резко возрастает, к работе просто подключается больше толокеров — и упоминания по-прежнему фильтруются за те же 15 минут.
Результаты
Благодаря разметке в Толоке операторам показывают только значимые упоминания: таких всего 9%. Ещё 14% не требуют внимания, а 77% — вообще спам или оффтоп.
Быстрая реакция. Оператор получает размеченные посты и комментарии через 15 минут после публикации в соцсети. В течение 30–40 минут он уже может прийти с ответом.
Компания знает, что о ней говорят пользователи. Мониторинг даёт общие данные (место публикации, число подписчиков, пол и возраст автора публикации), а разметка в Толоке добавляет информацию о тональности и темах упоминаний.
Самое главное — возможность следить за настроением пользователей и его изменением. Для этого тональность каждого упоминания нужно измерить дважды. Первый раз — когда оно попало в мониторинг и второй — после того, как оператор пообщался с пользователем. В каждом третьем случае гнев в диалоге удаётся сменить на милость, а иногда — на милоту.