Как построить качественный фундамент для LLM+RAG
Разбираемся, зачем генеративному ИИ нужна качественная база знаний и какими характеристиками она должна обладать, чтобы LLM-модель выдавала релевантные ответы, а не «галлюцинации».
Содержание:
Что такое LLM и RAG
LLM — это большие языковые модели, способные понимать и генерировать текст, близкий к человеческому. Они обучаются на больших объемах информации и могут выполнять различные задачи, такие как ответы на вопросы, написание статей, переводы и многое другое.
Но есть сложность: использовать LLM затратно, так как модель нужно постоянно обучать и настраивать с помощью дорогостоящих ML-специалистов. Еще есть облачные LLM-решения, но их применение в бизнесе история неуправляемая: обучением модели занимается поставщик клауд-сервиса, адаптировать ее под себя не получится.
И в этой ситуации на помощь приходит RAG — технология, которая объединяет возможности поиска информации (Retrieval) и генерации текста (Generation) и позволяет LLM-моделям работать с данными без длительного обучения.
RAG использует данные из разных источников, находит там информацию, соответствующую пользовательскому запросу, и «скармливает» сведения LLM. В результате языковая модель генерирует ответы, основываясь на контексте запроса и полученной информации от RAG.
Что еще влияет на качество работы AI
Итак, ключевая ценность технологии RAG заключается в том, что она позволяет языковым моделям обращаться к внешним данным (файловое хранилище, база знаний, интернет), минуя необходимость постоянного обучения. Для того чтобы LLM выдавала актуальную и релевантную информацию, настраивать саму модель не нужно — достаточно изменить эти сведения в источнике данных, к которым обращается RAG.
На первый взгляд ситуация исключительно благоприятная: берете мощную LLM+RAG, подключаетесь к источниками информации, настраиваете модель и просто выводите эту солянку в удобный и привычный интерфейс. Что может пойти не так?
Но на практике внедрение таких технологий в бизнесе сталкивается с рядом вызовов. И речь даже не о качестве и технических характеристиках моделей: устойчивости к ошибкам, адаптивности, а еще и о том, откуда именно RAG будет брать информацию.
Очень важно учитывать, что алгоритмы LLM+RAG не обладают пониманием актуальности и значимости данных, они не могут самостоятельно решить, какая информация из всего объема подойдет пользователю. За это отвечают:
Пользовательский запрос. От того, насколько четко и понятно (с точки зрения логики ИИ) он сформулирован, в том числе зависит качество ответа.
Промпт. Некая инструкция, согласно которой действует модель при поиске и генерации ответов. Промпт предварительно можно настроить, чтобы уточнить контекст вопроса, пользователя, сценарии обращения, формат предоставления ответа, ограничения, в том числе ролевую модель. Чем четче настроен промпт, тем выше релевантность ответа ИИ.
База данных (база знаний), откуда модель черпает информацию. Именно к ней ИИ обращается за поиском данных для генерации ответа. И если база знаний содержит неточные или устаревшие сведения, RAG будет извлекать именно их.
RAG также не сможет определить, какой объем данных необходим для ответа на конкретный вопрос. А чем больше информационная выборка, которую использует LLM для построения ответа, тем выше вероятность, что модель начнёт «галлюцинировать», используя документы, нерелевантные запросу.
И если учесть, что для многих сценариев при построении ответов требуется учитывать ещё и права доступа конкретного пользователя, задача ещё больше усложняется.
То есть, как бы привлекательно ни звучали обещания технологии RAG, важно понимать, что без грамотной подготовки источника информации, эффективность работы ИИ сильно снижается и становится непрогнозируемой. Нельзя просто «натравить» RAG на какие-то файлы, неструктурированное хранилище данных — у вас просто не будет инструментов управления. LLM+RAG должны работать с организованной Базой знаний.
Какой должна быть База знаний для успешного использования RAG
RAG в ответ на запрос пользователя должна найти и отдать LLM-модели определенный объем информации. Чтобы сформировать этот объем, запрос пользователя обрабатывается с помощью специального сервиса, который отправляет его в Базу знаний, а затем извлекает оттуда наиболее релевантную информацию (фрагменты хранимых документов), на основе которых LLM-модель и будет формировать конечные ответы.
Технология RAG не предназначена для того, чтобы самостоятельно вытаскивать нужную информацию из всего массива данных — она должна на основании заранее размеченных, актуальных материалов, релевантных запросу, формировать свой ответ.
Основная задача заключается в том, чтобы правильно организовать данные и убедиться, что, с одной стороны, в выборке извлечено все необходимое, с другой — ничего лишнего. Ведь итогом работы должен стать максимально точный ответ без так называемых «галлюцинаций».
Поэтому для успешной работы RAG-технологии важно на уровне источника (базы знаний) научиться «сужать» кластер документов, передаваемых в модель для построения ответов и поддерживать его актуальность.
Поэтому механизмы базы знаний должны обеспечить:
- возможность четко определить область, из которой будет построена выборка для генерации ответа, как с учетом тематики вопроса, так и с учетом прав доступа конкретного автора запроса;
- актуальность и непротиворечивость информации в хранилище.
Четкая структура и качественная разметка
Контент должен быть классифицирован, разбит по направлениям, желательно в рамках иерархической структуры. Размечать нужно типы и форматы файлов, использовать вспомогательные инструменты, которые помогут еще более точно понять, что содержится в документе: привязку к категориям иерархического классификатора, теги, аннотации, дополнительные заголовки и так далее.
Подход к структуризации Базы знаний для RAG ничем не отличается от подхода к созданию СУЗ для людей: чем более детально проработана структура, тем выше релевантность ответа на вопрос. Это поможет выделить конкретное множество документов для построения ответов средствами ИИ.
Если ИИ сервису (LLM+RAG), подключенному к базе знаний задать один и тот же вопрос по выделенной области в базе знаний и по всему содержимому — ответ будет разным. И в первом случае он будет более релевантным.
В связи с этим важно учитывать, что если вы используете RAG+LLM для обслуживания клиентов, вам нужно использовать дополнительные механизмы, чтобы максимально сузить клиентский запрос, выявить тематику обращения и отправить ИИ искать ответ на него в конкретный раздел хранилища.
Актуальность
В базе знаний должна быть предусмотрена возможность актуализации, проверки и согласования данных — как тех, которые уже существуют в системе, так и новых. Устаревшие материалы должны удаляться или корректироваться, чтобы ими не смог воспользоваться AI или люди. Поэтому важны механизмы версионирования, настройка уведомлений для редакторов Базы знаний или автоматическая архивация/удаление контента.
Единство информации для роботов и людей
Информация, которую использует AI и ваши сотрудники, не должна различаться. Если вы создадите отдельные источники данных, ошибки, неточности и противоречия в информации от роботов и людей неизбежны. Соответственно, база знаний для ИИ должна быть такой, чтобы ею с легкостью могли пользоваться люди. Это должен быть универсальный инструмент.
Как найти подходящее решение на рынке
Если вы не планируете тратить время и ресурсы на самостоятельную разработку Базы знаний, нужно искать подходящее решение на рынке.
Дополнительно к требованиям к структуризации и актуальности данных, о которых мы уже говорили, можно отметить:
- Наличие хорошего поиска под капотом. Поисковыми сервисами должен пользоваться не только ИИ, но и живые люди.
- Удобный интерфейс для работы пользователей, который может подстраиваться под различные бизнес-сценарии.
- Поддержка организации процесса публикации: от наполнения Базы знаний редакторами и пользователями до контроля данных в публикациях, согласования материалов другими сотрудниками.
- Возможность создания омниканальных статей — отдельных текстов под каждый канал коммуникации: для оператора в одном виде, для чат-бота — в другом, голосовому ассистенту — в третьем.
- Встроенный механизм выбора используемых LLM, т.к. это направление очень активно развивается и высока вероятность, что будут появляться более эффективные инструменты, так что важно иметь возможность быстрого перехода на новые технологии.
- Иметь интеграцию политик доступа к информации с RAG, чтобы при построении ответов с применением AI учитывались и права доступа автора запроса к информации в Базе знаний.
- В системе должна быть возможность (в связке ИИ и Базы знаний) тонкой настройки промпта под определенные бизнес-задачи, так как одна и та же База знаний может использоваться для консультации клиентов/внутренних сотрудников и т. п.
Если вы хотите получить комплексное решение под ключ, вам подойдет База знаний со встроенной техникой по работе LLM и RAG, допускающих как использование облачных LLM сервисов (упрощает старт и минимизирует затраты), так и локальных LLM (снижает риски информационной безопасности и позволяет выполнять индивидуальный тюнинг модели под особенности бизнеса). Все, что останется сделать — наполнить систему контентом и структурировать информацию.
Резюме
LLM и RAG — мощные инструменты, которые в ближайшем будущем станут незаменимыми для бизнеса, но без качественной базы знаний их эффективность заметно снижается. Поэтому одна из основных задач внедрения генеративного ИИ — обеспечить актуальность и непротиворечивость данных. Помните: эффективный AI начинается с качественной информации.