Улучшение RAG с помощью графов знаний

Генерация с дополненной выборкой (RAG) — это метод, который соединяет внешние источники данных для улучшения вывода больших языковых моделей (LLM). Этот метод идеально подходит для LLM для доступа к частным или специфичным для предметной области данным и решения проблем, связанных с галлюцинациями. Поэтому RAG широко используется для поддержки многих приложений GenAI, таких как чат-боты AI и системы рекомендаций.

Базовый RAG обычно объединяет векторную базу данных и LLM, где векторная база данных хранит и извлекает контекстную информацию для пользовательских запросов, а LLM генерирует ответы на основе извлеченного контекста. Этот подход хорошо работает во многих случаях, однако он испытывает трудности со сложными задачами, такими как многоадресное рассуждение или ответы на вопросы, требующие соединения разрозненных фрагментов информации.

Например, вопрос «Какое имя было дано сыну человека, который победил узурпатора Аллектуса?»

Для ответа на этот вопрос базовый RAG обычно выполняет следующие шаги:

Проблема обычно возникает на первом этапе, поскольку базовый RAG извлекает текст на основе семантического сходства, а не напрямую отвечает на сложные запросы, где конкретные детали могут не быть упомянуты в наборе данных. Это ограничение затрудняет поиск точной необходимой информации, часто требуя дорогостоящих и непрактичных решений, таких как ручное создание пар вопросов и ответов для частых запросов.

Для решения таких проблем Microsoft Research представила GraphRAG, совершенно новый метод, который дополняет извлечение и генерацию RAG с помощью графов знаний. В следующих разделах мы объясним, как работает GraphRAG и как запустить его с векторной базой данных Milvus.

В отличие от базового RAG, который использует векторную базу данных для извлечения семантически похожего текста, GraphRAG улучшает RAG, включая графы знаний (KG). Графы знаний — это структуры данных, которые хранят и связывают данные на основе их отношений.

Конвейер GraphRAG обычно состоит из двух основных процессов: индексации и обработки запросов.

Процесс индексации состоит из четырех основных этапов:

GraphRAG имеет два различных рабочих процесса обработки запросов, адаптированных для разных запросов.

Этот рабочий процесс глобального поиска включает следующие фазы.

Когда пользователи задают вопросы о конкретных сущностях (например, имена людей, места, организации и т. д.), мы рекомендуем использовать процесс локального поиска. Этот процесс включает следующие шаги:

Чтобы продемонстрировать эффективность GraphRAG, его создатели сравнили качество выходных данных базового RAG и GraphRAG в своем блоге. Для иллюстрации я приведу простой пример.

Для своих экспериментов создатели GraphRAG использовали набор данных «Информация о насильственных инцидентах из новостных статей» (VIINA).

Примечание: этот набор данных содержит деликатные темы. Он был выбран исключительно из-за своей сложности и наличия различных мнений и частичной информации.

Базовому RAG и GraphRAG задавали один и тот же вопрос, который для составления ответа требует агрегации информации по всему набору данных.

Вопрос: Каковы 5 основных тем в наборе данных?

Ответы показаны на изображении ниже. Результаты базового RAG не имели отношения к военной тематике, поскольку векторный поиск давал несвязанный текст, что приводило к неточной оценке. Напротив, GraphRAG предоставил четкий и релевантный ответ, определив основные темы и вспомогательные детали. Результаты были согласованы с набором данных со ссылками на исходный материал.

Дальнейшие эксперименты, приведенные в статье «От локального к глобальному: подход Graph RAG к резюмированию, ориентированному на запросы», показали, что GraphRAG значительно улучшает многоадресное рассуждение и сложное резюмирование информации. Исследование показало, что GraphRAG превосходит базовый RAG как по полноте, так и по разнообразию:

Для получения более подробной информации об этих экспериментах мы рекомендуем вам прочитать оригинальную статью GraphRAG.

GraphRAG расширяет приложения RAG с помощью графов знаний, а также использует векторную базу данных для извлечения соответствующих сущностей. В этом разделе показано, как реализовать GraphRAG, создать индекс GraphRAG и запросить его с помощью векторной базы данных Milvus.

Перед запуском кода убедитесь, что вы установили следующие зависимости:

Примечание: мы установили GraphRAG из форк репозитория, поскольку на момент написания статьи функция хранения Milvus все еще ожидает официального слияния.

Начнем с рабочего процесса индексации.

Загрузите из Project Gutenberg небольшой текстовый файл примерно с тысячей строк и используйте его для индексации GraphRAG.

Этот набор данных посвящен истории Леонардо да Винчи. Мы используем GraphRAG для построения графического индекса всех связей, касающихся да Винчи, и векторной базой данных Milvus для поиска соответствующих знаний для ответа на вопросы.

Теперь давайте используем GraphRAG для индексации текстового файла. Чтобы инициализировать рабочую область, сначала запустим команду graphrag.index --init.

Вы найдете файл .env в корневом каталоге индекса. Чтобы использовать его, добавьте свой ключ API OpenAI в файл .env.

Важные примечания:

Процесс индексации займет некоторое время. После завершения в папке ./graphrag_index/output/<timestamp>/ появится новая директория с артефактами, содержащими серию файлов в формате Parquet.

На этапе выполнения запросов мы используем Milvus для хранения эмбеддингов описаний сущностей, необходимых для локального поиска в GraphRAG. Этот подход объединяет структурированные данные из графа знаний с неструктурированными данными из входных документов, что позволяет дополнить контекст LLM релевантной информацией о сущностях и обеспечить более точные ответы.

В процессе индексации будет сгенерировано несколько файлов parquet. Мы загружаем их в память и сохраняем информацию об описании сущностей в векторной базе данных Milvus.

Чтение сущностей:

Количество сущностей: 651

Чтение связей

Количество связей: 290

Чтение отчетов сообщества

Записи отчетов: 45

Чтение текстовых единиц

Записи текстовых единиц: 51

Мы подготовили необходимые данные для локальной поисковой системы. Теперь мы можем создать с их помощью экземпляр LocalSearch, LLM и модель эмбеддингов.

Результаты GraphRAG конкретны, с четко обозначенными цитируемыми источниками данных.

GraphRAG также может генерировать вопросы на основе исторических запросов, что полезно для создания рекомендуемых вопросов в диалоге чат-бота. Этот метод объединяет структурированные данные из графа знаний с неструктурированными данными из входных документов для создания потенциальных вопросов, связанных с определенными сущностями.

Генерация вопросов на основе истории.

Вы можете удалить корень индекса, если хотите удалить индекс, чтобы освободить место.

В этой статье мы изучили GraphRAG, инновационный метод, который улучшает технологию RAG за счет интеграции графов знаний. GraphRAG идеально подходит для решения сложных задач, таких как многошаговое рассуждение и ответы на комплексные вопросы, требующие связывания разрозненных фрагментов информации.

В сочетании с векторной базой данных Milvus, GraphRAG может эффективно анализировать сложные семантические связи в больших наборах данных, предоставляя более точные и глубокие результаты. Эта мощная комбинация делает GraphRAG незаменимым инструментом для различных практических приложений в области генеративного ИИ, предоставляя надежное решение для понимания и обработки сложной информации.

Автор оригинала: Zilliz

Понравилась статья? Еще больше информации на тему данных, AI, ML, LLM вы можете найти в моем Telegram канале.

Обо всем этом читайте в “Роман с данными”

#rag #llm #milvus #graphrag #knowledge_graph