Обучение Wikibot: Что делать, если бот отвечает неправильно?

Как создать и обучить первого бота мы писали тут.

Подробно об обучении бота с помощью базы знаний и Вопрос-Ответ мы описали тут: https://wikibot.pro/docs/lk/learn

Это вводная статья по настройке Wikibot в случаях когда он не находит ответ в базе знаний. В статье собраны рекомендации, соблюдая которые, вы существенно улучшите качество ответов бота.

1. Все частые вопросы лучше добавить в раздел "Вопрос-ответ", т.к. он более гибко и точно определяет суть вопроса.

2. Базу знаний желательно разбивать на небольшие статьи.

Если у вас в базе знаний большие статьи с таблицами, картинками и вы не готовы менять базу для бота, то пришлите нам ссылку на типовую статью и 5 вопросов к статье. Мы настроим наш алгоритм, чтобы он хорошо отвечал по таким статьям. У бота есть множество опций которые ещё не видны в интерфейсе.

3. В базу знаний нужно делать заголовки похожие на вопросы "Как запустить аппарат".

4. Если в инструкции много шагов и картинок, то вначале коротко перечислить шаги: "Чтобы запустить аппарат следует сделать А. ... Б. ...".

5. Если статья называется "Как запустить аппарат", ТО в статье должна быть формулировка: ""Чтобы запустить аппарат ...". Часто название статьи одно, а описывает она похожую тему, но другую. Таким образом не отвечая на вопрос.

6. Если статья плохо находится, то нужно в ЛК добавить к ней "Дополнительный контент" и в нем различные формулировки заголовков (вопросов пользователя). Также бывает, что статьи с ответом на вопрос пользователя просто нет в базе знаний, тогда нужно добавить статью.

7. Не нужно делать сразу всю базу знаний - двигайтесь итерациями. Включайте бота и смотрите какие вопросы задают пользователи и на что плохо отвечает, определив это, вновь улучшайте базу знаний.

8. Работа над ошибками бота:

8.1 Один раз в неделю /в две недели/ в месяц выгружайте детальный отчет в ЛК Wikibot. В детальном отчете есть все вопросы пользователей и ответы бота.

8.2 В столбце "Тип" поставьте фильтр по "NO_ANSWER".В столбце "Запрос" вы увидите вопросы по которым бот не дал ответа.

8.3 Идите по этим вопросам и настраивайте бота так, чтобы он на них отвечал, используя рекомендации 1-7.

9. Подсчет метрик

Чтобы видеть прогресс, необходимо считать метрики. Начните с самой простой: % вопросов, где бот дал ответ (относительно всех вопросов.)

Считайте эту метрику за интервал в день / неделю / месяц (см картинку).

Когда метрика будет регулярно больше 70% можно добавлять другие метрики.

О системе метрик для службы поддержки и как правильно их считать/внедрять/интерпретировать мы напишем отдельную статью.

10. Что делать, если бот отвечает неправильно? Уровень 2.

Более глубокое и детально описание читайте у нас в документации:

#chatgpt #support #clientservice #chatbot