Корпоративный чат-бот с ИИ: внедрение RAG-агента для крупной компании

О клиенте

Наш клиент — крупная IT-компания, разрабатывающая программные решения для банков и финансовых организаций. В рамках цифровой трансформации компания стремилась повысить эффективность внутренних процессов, включая работу корпоративного чат-бота, который должен был эффективно помогать сотрудникам с решением повседневных вопросов.

Проблема и задачи

Компания уже использовала чат-бота, но его функциональность была ограничена. Он работал по старой модели, ориентированной на триггеры и ключевые слова. Если сотрудник задавал вопрос в точной формулировке, бот находил ответ. Но если фраза была сформулирована иначе — система не справлялась, и приходилось искать информацию вручную или обращаться в поддержку.

Еще одна проблема — сложность обновления базы знаний. Специалисты вручную анализировали вопросы, писали новые ответы и добавляли их в систему. Это занимало слишком много времени и ресурсов.

Задачи:

• Повысить точность ответов, избавившись от ручного прописывания сценариев.
• Ускорить обновление базы знаний без участия сотрудников.
• Научить чат-бота понимать естественный язык, а не просто ключевые слова.

Решение

Для решения задач мы подключили ML-разработчика и внедрили RAG-агента (Retrieval-Augmented Generation) на базе Gigachat. Эта система сочетает поиск информации и генерацию ответов с помощью нейросетей.

Как это работает:

• Поиск данных — агент извлекает информацию из корпоративных источников.
• Генерация ответа — на основе найденных данных бот формирует точный и понятный ответ.

Этапы

1. Создание базы знаний

Чтобы RAG-агент мог оперативно находить актуальную информацию, мы централизовали корпоративные данные в единую базу. В нее вошли:

• Внутренние источники: Confluence, CRM, Wiki, календари, регламенты и корпоративные базы данных.
• Внешние источники (по запросу клиента): API, отраслевые отчеты, новостные ресурсы.

2. Интеграция RAG-агента

RAG-агент состоит из двух ключевых компонентов:

• Модуль поиска — находит релевантные данные в базе знаний.
• Языковая модель (LLM) — анализирует найденную информацию и формирует ответ.

Мы использовали векторный поиск, который сохраняет смысл запроса, ориентируясь не только на ключевые слова. Традиционные поисковые системы ищут точное совпадение по ключевым словам. Векторный поиск, напротив, работает с векторными представлениями данных – числами, отражающими смысл текста.

Каждое предложение кодируется в виде вектора большого размера. Запрос пользователя также превращается в вектор, после чего система находит наиболее близкие точки (то есть самые релевантные фрагменты информации).

Такой подход позволяет агенту:

• Понимать контекст запроса (даже если формулировка не совпадает с текстом в базе).
• Обрабатывать разные типы данных (текст, изображения, видео).
• Искать наиболее точные ответы среди большого объема информации.

3. Оптимизация работы агента

Чтобы агент выдавал точные и полезные ответы, были проведены доработки:

Построение пайплайна обработки запросов. Каждый пользовательский запрос проходит несколько этапов:

• Извлечение данных – поиск наиболее релевантных документов.
• Реранкер – дополнительная сортировка найденной информации для улучшения точности.
• Генерация ответа – обработка данных в LLM и формирование итогового ответа.

Оптимизация промптов:

• Настроены специальные подсказки (prompts), которые помогают модели отвечать корректно.
• Если вопрос касается данных в базе – агент берет ответ оттуда.
• Если информации нет – бот формулирует ответ самостоятельно.

Разработка API. Создан API-интерфейс для взаимодействия с агентом через другие системы компании.

4. Масштабируемость и обновление данных

• Внедрен механизм автоматического обновления базы – новые документы и изменения индексируются в реальном времени.
• Возможность интеграции новых источников без изменения архитектуры.

Результат

В результате клиент получил интеллектуального помощника, способного быстро и точно отвечать на вопросы сотрудников, находить нужную информацию в документации и даже адаптироваться к изменяющимся условиям.

Использование RAG-агента на базе Gigachat позволило значительно повысить эффективность работы с корпоративными знаниями.

• +73% точности ответов без привлечения операторов.
• Полная автоматизация базы знаний — больше не нужно вручную добавлять новые ответы.
• Более естественное взаимодействие — сотрудники могут формулировать запросы свободно, а бот понимает их смысл.
• Гибкость и масштабируемость — чат-бот легко адаптируется под новые задачи.

Этот кейс показывает, что интеллектуальные чат-боты — это не просто тренд, а реальный инструмент повышения эффективности бизнеса. Финтех, ритейл, медицина, промышленность — любая сфера, где важно быстро находить и обрабатывать информацию, может использовать RAG-агента.

Если вам нужно аналогичное решение, мы готовы помочь.

Стек

Python3