Как в Авито Работа создавали ассистента и почему наш чат-бот не здоровается
Мы уже начинали рассказывать, как команда Авито Работы придумала запустить ассистента, который помогает пользователям с поиском вакансий. Теперь — о самом интересном: как тестировали, какие баги находили и над чем еще нужно работать.
Запуск первый. Русский язык и «позже»
В декабре 2019 года мы запустили первую версию чат-бота для пользователей, которые искали работу водителя.
На этом этапе:
- 1222 человек получили push-приглашение побеседовать с ботом.
- Из них 25% начали диалог.
- И только 9,5% создали резюме, то есть ответили на все вопросы.
Мы решили выяснить, в чем дело, и связались с соискателями.
Оказалось, что люди покидали диалог в основном из-за трёх причин:
- Соискатель в момент между получением push-уведомления и окончанием диалоги с чат-ботом получал приглашение от работодателя. Человек не видел смысла продолжать;
- У некоторых людей были сложности с русским языком;
- Пользователь по ошибке нажимал не туда.
Что мы cделали:
- Мы дали соискателю возможность вернуться к взаимодействию с чат-ботом позже. Теперь на предложение начать диалог были не только ответы «да» и «нет», но и вариант «позже»;
- Чтобы помочь соискателям, которые имеют сложности с русским языком, мы упростили формулировки вопросов и добавили подсказки;
Мы столкнулись с еще одной проблемой. На вопрос о желаемой позиции люди отвечали: «с высокой зарплатой», «транспорт и логистика», «я не знаю» или «водитель категории Е». То есть наши соискатели пишут всё, что угодно, кроме чёткого названия должности.
Все эти ответы впоследствии становились названиями резюме соискателей, поэтому было важно получать корректные ответы. В результате нам пришлось, во-первых, ограничить количество символов в ответе, во-вторых — переформулировать вопрос, добавить подсказку: «Какая должность вас интересует? Напишите название, например: продавец. Если неважно, напишите: «Любая работа».
Запуск второй. В чем ценность взаимодействия с ботом для соискателей
Месяц спустя мы сделали второе тестирование. Участвовали 5000 пользователей, которые откликались на вакансии продавца, повара, водителя, курьера, администратора, уборщика и дополнительно на категории «студенты/без опыта».
На втором этапе результаты сильно не изменились:(
- конверсия на начале диалога выросла на 3,5% (и стала 28,5%)
- а на этапе создание резюме — на 5,5% (и стала 15%)
Пообщавшись с соискателями, мы столкнулись с новой проблемой: люди не понимали, в чем ценность их разговора с ботом. Многие уходили на вопросе «Хотите ли вы пообщаться с ботом?» и не понимали смысл создания резюме. Поэтому мы изменили два момента:
- больше не задавали дополнительные вводные вопросы, а сразу же спрашивали о желаемой вакансии
дали пользователю понимание, что он получит в результате взаимодействия с роботом. Мы объяснили: создадим резюме, проанализируем его и порекомендуем для вас подходящие вакансии. Работа — ценно, сам факт резюме — не очень.
Что еще было докручено:
- Чат-бот перестал здороваться, но не потому, что он не вежлив. Дело в том, что люди любят отвечать приветствием на приветствие: на «Здравствуйте! Какая должность вас интересует?» мы получали: «Привет! Кассир». И система создавала резюме на «Привет! Кассира». Поэтому слово «здравствуйте» пришлось убрать — люди в ответ здороваться перестали.
- Мы много экспериментировали с порядком вопросов. Выяснилось, что самые легкие вопросы нужно ставить в начале, а сложные — в конце, когда пользователь психологически уже готов отвечать более развёрнуто, чем просто «да» или «нет». Например, если речь идет про указание адреса или выбор локации на карте.
- Пользователям, которые по какой-то причине покинули диалог на любом этапе, мы стали отправлять повторное приглашение. Мы боялись надоесть, но выяснили, что люди переставали общаться с ботом по объективным причинам — например, были за рулем. Поэтому тем, кто прошел хотя бы один шаг, мы отправили напоминания: «Вы начали общение с ботом но почему-то не закончили». Теперь напоминаем через 2 часа после контакта и утром на следующий день.
После второго этапа доработок конверсия значительно улучшилась — мы решили, что это оптимистичные цифры и стали предлагать взаимодействие с чат-ботом каждому зарегистрированному пользователю Авито Работа.
Воронка и конверсии на сегодня выглядят вот так: создают резюме 30% соискателей.
И при этом, скорость роста базы выросла на 150% MoM
Над чем мы продолжи�� работать и куда идем
- Будем повышать качество резюме
Сейчас исследования говорят о том, что спрос на резюме «синего воротничка», которое создается с помощью чат-бота Авито Работы, не намного хуже, чем спрос на резюме, которое создает человек сам, но нам есть куда расти и в следующем квартале мы этим займемся. Мы сделаем так, что резюме от ассистента Авито будут даже более качественными, чем обычные.
- Будем улучшать рекомендации
Мы хотим, чтобы наши соискатели тратили меньше времени на поиск нужной им вакансии и видели только подходящий контент. Сейчас 60-70% пользователей Авито Работа в завершении диалога с чат-ботом получают релевантные их параметрам поиска рекомендации. Но по-прежнему остаются 30-40% пользователей, которые отмечают, что рекомендации им не подходят. Среди них примерно 10% — люди, которым нам сложно что-то порекомендовать, например, у нас просто нет подходящих вакансий (например, разработч��кам). И 20-30% — та зона роста, с которой мы будем работать.
Мы знаем, как повысить показатель релевантности рекомендаций до 70-80% уже в следующем квартале. Что будем делать?
- Во-первых, учитывать в онлайн режиме негативные отклики пользователей (человек, получив предложения по вакансиям, может выбрать между «показать еще» и «мне не подходит»).
- Во-вторых, будем учитывать соответствие социально-демографического таргетинга определенным вакансиям. Проанализируем, на какие вакансии откликаются люди с конкретными данными «пол-возраст-гражданство» — и будем рекомендовать им что-то похожее. У соискателя также останется возможность получать и откликаться на совершенно непривычные ранее вакансии.
- В-третьих, проработаем историю с географией. Будем лучше учитывать локацию, которую обозначает пользователь, и предлагать как можно более близкие вакансии. Также выделим позиции, для которых местоположение не играет роли. Это может быть работа вахтовым методом, или позиция дальнобойщика.
- Упростим дальнейший путь соискателя и оптимизируем воронку для работодателя.
Со дня на день у нас будут тестироваться новые фичи. Пока мы придержим интригу о том, что это будет, но вернемся обязательно с результатами экспериментов.
И, конечно, мы планируем, что в результате всей большой работы над улучшением базы данных соискателей мы увеличим заработок на резюме в 2,5 раза.