Разработка RAG-систем
по E-commerce 2024
Какие задачи решает RAG-система
Как работает RAG-система
Подключаем документы, базы знаний, корпоративные хранилища и бизнес-системы. Определяем, какие данные нужны для поиска и как они должны обновляться.
Обрабатываем материалы, разбиваем их на фрагменты и загружаем в поисковый индекс. Учитываем структуру документов, метаданные, источник и дату обновления.
Создаём векторные представления данных и запросов. Поиск находит подходящие фрагменты по смыслу, даже если формулировки пользователя и документа не совпадают дословно.
Фильтруем и ранжируем найденные фрагменты. При необходимости учитываем источник, дату, метаданные и другие признаки.
Языковая модель получает запрос и найденные фрагменты корпоративных данных, после чего формирует ответ с учётом этого контекста.
Результат возвращается в портал, CRM, приложение, чат или другой интерфейс. Вместе с ответом можно показывать документы и фрагменты, на которых он основан.
Какие источники данных можно подключить
RAG-система может работать с несколькими корпоративными источниками. Настраиваем получение данных, индексацию и обновление, чтобы поиск использовал актуальную информацию.
- Confluence
- Корпоративные Wiki
- Google Диск
- Яндекс Диск
- amoCRM
- Битрикс24
- Сайт компании
- Почта
- Telegram
- Файловые хранилища
- Базы данных
- REST API
Технологии и инструменты
Backend и API
Обработка запросов, retrieval и интеграция с корпоративными системамиEmbeddings
Векторизация документов и запросов для семантического поискаИнтеграция с корпоративными системами
Подключаем RAG к CRM, 1С и внутренним системам через API. Решение использует только те данные, которые доступны пользователю в рамках заданных прав.
Встраиваем поиск и ответы по внутренним знаниям в существующий портал или базу знаний. Сотруднику не нужно переходить между несколькими хранилищами.
RAG может работать как backend-модуль и передавать результаты через API в мобильное приложение, B2B-портал, личный кабинет, чат или другой цифровой продукт.
Для проектов с требованиями к размещению данных можем развернуть локальные LLM и компоненты RAG внутри инфраструктуры компании. Документы, переписки и корпоративные данные в таком варианте не передаются во внешние LLM-сервисы.
Настраиваем права доступа к источникам и защитные механизмы для работы с внутренними данными. Если облачные модели допустимы, подключаем их через API по согласованной архитектуре.
Как контролируем качество ответов
Качество RAG зависит не только от языковой модели. Если в индекс попали устаревшие документы или поиск выбрал неподходящий контекст, LLM получит неверные исходные данные. Поэтому отдельно настраиваем подготовку источников, индексацию, поиск и обновление данных.
Показываем источники
Вместе с ответом система может возвращать документы и фрагменты, на которых он основан. Пользователь может проверить информацию в исходном источнике.Ранжируем найденные данные
При отборе контекста можно учитывать смысловую близость, дату документа, источник и другие признаки.Обрабатываем запросы с низкой уверенностью
Для нужных сценариев можно настроить передачу запроса сотруднику вместо автоматического ответа.Учитываем обратную связь
После запуска анализируем проблемные ответы и корректируем настройки поиска и обработки запросов.Внутренняя LLM-база знаний Alto
Этапы разработки RAG-системы
Определяем пользователей, рабочие сценарии, типовые вопросы и требования к результату. Фиксируем ограничения по данным, доступам и инфраструктуре.
Изучаем, где хранятся данные, как устроены документы, какими способами их можно получать и как часто информация обновляется.
Определяем схему загрузки данных, индексации, поиска, ранжирования и работы LLM. Выбираем векторное хранилище и способ размещения компонентов.
Настраиваем обработку документов, разбиение на фрагменты, метаданные, embeddings и правила обновления индекса.
Реализуем поиск по корпоративным данным, передачу контекста в LLM, генерацию ответа и прикладную логику системы.
Подключаем корпоративные хранилища, CRM, порталы, приложения и другие системы. Настраиваем API и пользовательский интерфейс.
Проверяем поиск, ответы, доступ к данным, нагрузку и устойчивость. Исправляем проблемные сценарии до запуска.
Переводим систему в рабочий контур, подключаем пользователей и обновление данных. После запуска дорабатываем поиск и интеграции.
Стоимость разработки RAG-системы
Срок: 2–3 недели
- Подключение до 3 источников данных
- Подготовка данных и поискового индекса
- Настройка RAG-пайплайна
- Подключение языковой модели
- Один пользовательский интерфейс или канал
- Проверка результата и план дальнейшего внедрения
Срок: 4–8 недель
- Подключение корпоративных источников и систем
- Настройка поиска, фильтрации и ранжирования
- Интеграция с CRM, порталом, приложением или другим сервисом
- Разграничение доступа к данным
- Облачное или локальное размещение компонентов
- Тестирование, запуск и последующая доработка системы
От чего зависит стоимость
Вопросы о разработке RAG-систем
RAG находит связанные с запросом фрагменты корпоративных данных и передаёт их языковой модели для формирования ответа. Подробнее о механике и архитектуре рассказали в статье «RAG-система для бизнеса: как ИИ отвечает по документам компании и показывает источники».
Документы, базы знаний, CRM, сайты, почту, мессенджеры, файловые хранилища и другие системы, для которых можно организовать доступ к данным.
Да. Для таких проектов можно использовать локальные LLM и развернуть компоненты RAG внутри инфраструктуры заказчика.
При изменении исходных данных обновляется поисковый индекс. Частоту и способ синхронизации определяем для каждого источника отдельно.
Поведение зависит от сценария. Например, при низкой уверенности можно отказаться от автоматического ответа и передать запрос сотруднику.
Пилотный проект занимает 2–3 недели, полное внедрение — 4–8 недель. Срок зависит от данных, источников, интеграций и требований к инфраструктуре.
От объёма и состояния данных, количества источников, интеграций, требований к доступу, размещению и нагрузке.