Улучшение работы LLM через метод RAG

Улучшение работы LLM через метод RAG

Метод Retrieval Augmented Generation (RAG) является эффективным способом улучшения работы больших языковых моделей (LLM). При работе с корпоративными данными, возникают ограничения на доступ к внешним моделям, поэтому мы исследовали альтернативные подходы. RAG предлагает передавать релевантную информацию в контекст модели, что помогает увеличить полезность LLM в корпоративной среде. Мы рассмотрели процесс преобразования документов, поиска и генерации ответов, долгое время экспериментируя с улучшением Retrieval части метода. Комбинирование различных техник, таких как Query Expansion, векторный поиск и переранжирование документов, позволяет значительно повысить качество поиска и генерации ответов. Этот подход активно применяется командой AI-Run из X5 Tech для оптимизации работы LLM и обработки корпоративных данных.

Что такое LLM?

LLM (Large Language Model) — это нейросетевая модель, обученная на огромных массивах текстовой информации для понимания и генерации естественного языка. Основная задача LLM — принимать на вход текст и отвечать на него также текстом. Важно отметить, что LLM ограничены длиной принимаемой информации (контекста) – максимального количества токенов, которое способна обработать модель за один вызов.

Проблемы использования LLM

LLM имеют свои ограничения, такие как ограниченная длина контекста и риски утечки данных при использовании внешних хостингов. Для преодоления этих проблем мы выбираем модели с открытым кодом, поддерживаемые на наших серверах. Однако стандартные LLM могут недостаточно учитывать русский язык, не обладать специализированными знаниями и страдать от дублирования информации и галлюцинаций.

Метод Retrieval Augmented Generation (RAG)

Для решения ограничений и проблем в работе с крупными языковыми моделями (LLM) мы применяем метод Retrieval Augmented Generation (RAG). Этот подход позволяет передавать в LLM релевантную информацию прямо внутри контекста, что увеличивает эффективность модели в обработке конкретных и актуальных данных. Применение RAG позволяет улучшить ответы модели на запросы пользователей, обеспечивая более точные и структурированные результаты на основе предоставленных документов.

Строение RAG-пайплайна

В процессе построения RAG-пайплайна мы выделяем три основных этапа. Первый этап - преобразование документов, где внутренние документы преобразуются в векторы с помощью моделей эмбеддингов или индексируются для последующего использования. Далее следует этап поиска документов, где запрос пользователя используется для поиска ближайших документов в базе данных. На последнем этапе происходит генерация ответа, где модель LLM создает ответ на основе найденных документов и запроса пользователя. Каждый из этих этапов важен для эффективной работы RAG-системы, обеспечивая точность и релевантность информации, передаваемой пользователю.

Улучшение Retrieval

Для улучшения процесса Retrieval мы сосредоточились на уменьшении нерелевантной информации, передаваемой в контексте модели. Этот подход позволит снизить вероятность появления галлюцинаций и неправильных ответов, а также эффективнее использовать доступные токены. Путем оптимизации Retrieval мы стремимся обеспечить модели более точный и структурированный контекст для генерации ответов, что в итоге повысит качество и точность работы системы в целом.

Query Expansion

Использование метода Query Expansion в процессе работы с поиском релевантных документов позволяет улучшить точность и эффективность поиска. Этот подход заключается в расширении и уточнении запроса пользователя путем добавления дополнительного контекста и возможных ответов. Например, при перефразировании запроса "отпуск" в "как оформить отпуск?", система способна тщательнее охватить суть вопроса и предоставить более точные результаты. Эксперименты показали, что при использовании Query Expansion качество выдачи информации улучшилось значительно, что подтверждается увеличением показателей MAP@5, p@1 и p@5 в сравнении с результатами без данного метода. Таким образом, Query Expansion является эффективным инструментом для повышения релевантности поисковых запросов и качества ответов системы на них.

Поиск документов

Для улучшения поиска релевантных документов мы применяем векторный поиск. Этот метод позволяет создавать векторы для запросов пользователей и сравнивать их с векторами всех наших внутренних документов. Таким образом, мы можем находить документы, которые наиболее соответствуют запросу пользователя. Важным шагом в улучшении этого процесса было использование различных методов векторизации, включая multilingual-e5-large. Эти методы помогли значительно повысить качество поиска и обеспечить более точные результаты для пользователей.

Переранжирование документов

Переранжирование документов является критически важной стадией в работе с системами Retrieval Augmented Generation (RAG). Этот процесс направлен на улучшение точности поиска и ранжирования документов в ответ на запросы пользователей. Использование методов, таких как Cross-Encoder и градиентный бустинг, позволяет значительно повысить качество результатов, как показано в таблице с метрикамиMAP@5, p@1 и p@5. После применения переранжирования. можно заметить улучшения в показателях, что свидетельствует о эффективности этого подхода. Этот этап обеспечивает более точное и контекстуальное расположение документов, что в конечном итоге повышает уровень релевантности в поисковой системе.

Заключение

В заключении нашей статьи мы подвели итоги по улучшению поиска релевантных документов для RAG-систем. Мы осветили важные методы, такие как Query Expansion и векторный поиск, которые способствуют более точному и эффективному поиску данных для моделей LLM. Отметили важность дальнейшей работы над генерацией на основе найденных документов, мониторингом LLM в продакшене и постоянной борьбой с галлюцинациями. Эти аспекты критически важны для успешной работы корпоративных систем и эффективного использования языковых моделей. Авторы статьи поделились своим опытом и знаниями, призывая к дальнейшему исследованию и совершенствованию методов работы с LLM в корпоративной среде.