Ассистенты и чат-боты на базе корпоративной базы знаний (RAG)

Создаём ассистентов, которые отвечают на вопросы по документам компании: регламентам, инструкциям, договорам, технической документации, базе решённых обращений. Каждый ответ сопровождается ссылкой на исходный документ, а доступ к содержимому ограничен правами того, кто спрашивает. Работаем на модели в вашем контуре, чтобы документы не уходили во внешние сервисы.

Коротко о задаче

Знания компании существуют, но найти их невозможно. Регламенты лежат на файловом сервере в папках, названных по фамилиям авторов. Инструкции разосланы письмами два года назад. Половина правил нигде не записана и передаётся устно. Ответ на вопрос быстрее получить у коллеги, чем в документах, поэтому все спрашивают коллег.

Это порождает три постоянных расхода. Новый сотрудник выходит на рабочий темп месяцами, потому что учится не по документам, а у соседей. Опытные сотрудники тратят время на одни и те же вопросы. Служба поддержки отвечает на повторяющиеся обращения, ответ на которые лежит в инструкции, которую никто не читал.

Обычный поиск по документам эту задачу не решает: он ищет слова, а человек спрашивает смысл. Запрос «сколько дней отпуска за свой счёт можно взять» не найдёт документ, где написано «отпуск без сохранения заработной платы».

Ассистент на базе знаний решает это: находит подходящие фрагменты по смыслу и формулирует ответ. Но у такой схемы есть два условия, без которых она вредна.

Первое — ответ обязан ссылаться на источник. Иначе сотрудник не может проверить и не должен доверять.

Второе — права доступа. Ассистент, который отвечает всем одинаково, выдаст содержимое документов, к которым у спрашивающего доступа нет. Это не гипотетический риск, а типичная ошибка внедрения.

Что входит в услугу

• Инвентаризация источников знаний

Собираем, где что лежит: файловый сервер, портал, почта, система заявок, база решённых обращений, разрозненные документы у сотрудников. Отдельно отмечаем устаревшее и противоречивое.

• Подготовка материалов

Приводим документы к пригодному для обработки виду, отсеиваем недействующие редакции, размечаем по темам и подразделениям. Ассистент, обученный на противоречивых документах, будет противоречить себе.

• Индексация с учётом прав

Каждый фрагмент связывается с уровнем доступа. Поиск выполняется только по тому, что доступно спрашивающему. Смотрите {{ссылка: Разграничение доступа, парольные политики, многофакторная аутентификация}}.

• Поиск и генерация ответа

Модель отвечает на основании найденных фрагментов, а не на основании общих знаний. Когда подходящего материала нет, ассистент говорит, что не знает, вместо того чтобы придумать.

• Обязательные ссылки на источник

К каждому ответу прикладываются документы и фрагменты, на которых он построен. Сотрудник может открыть и проверить.

• Модель в вашем контуре

Развёртывание локально, чтобы содержимое документов не передавалось наружу. Смотрите {{ссылка: Внедрение языковых моделей в контуре заказчика}}.

• Оценка качества на реальных вопросах

Собираем список вопросов, которые действительно задают, и измеряем долю верных ответов. Это единственная осмысленная проверка перед запуском.

• Интерфейсы

Веб-интерфейс, встраивание в корпоративный портал, работа через мессенджер. Смотрите {{ссылка: Разработка чат-ботов}}.

• Поддержание базы в актуальном состоянии

Регламент обновления при изменении документов. База, которую перестают обновлять, за год становится источником неверных ответов.

• Журнал вопросов

Аналитика по обращениям показывает, чего людям не хватает и какие документы стоит написать или переписать.

Что это даёт заказчику

• Ответ за секунды. Вместо поиска по папкам и отвлечения коллег.
• Проверяемость. Ссылка на документ позволяет убедиться, а не поверить.
• Права соблюдаются. Ассистент не выдаёт того, к чему у человека нет доступа.
• Быстрая адаптация новых. Новичок задаёт вопросы системе, а не отвлекает всех вокруг.
• Разгрузка поддержки. Типовые обращения закрываются без участия людей.
• Видно пробелы. Журнал вопросов показывает, где документация отсутствует.

Как мы работаем

Начинаем с одной предметной области, а не со всей базы знаний сразу. Обычно это либо кадровые и организационные вопросы, либо продуктовая документация для поддержки. Узкая область даёт высокое качество и быстрый результат.

Подготовка документов занимает больше времени, чем настройка самого ассистента, и это нормально. Мусор на входе даёт мусор на выходе, никакая модель этого не исправляет.

Перед запуском обязательно проверяем на списке реальных вопросов и показываем результаты. Запускать ассистента, качество которого никто не измерял, значит подорвать доверие к нему в первую неделю.

Наш опыт

Мы работаем с языковыми моделями как с инженерной задачей: структурированный вывод с проверкой формата, обязательное обоснование ответа, детерминированный режим генерации, измеримое качество на закреплённой выборке. Систему с локально развёрнутой моделью, которая анализирует поток текстов и возвращает вердикт вместе с фрагментом-основанием, мы разработали и сопровождаем.

Требование «ответ должен сопровождаться основанием» пришло оттуда же. В отрасли, где работает наш заказчик, вывод без обоснования не принимается ни сотрудником, ни проверяющим. Для корпоративного ассистента это требование не менее важно.

Мы также разрабатываем корпоративные порталы и системы, где живут документы, поэтому ассистента можно встроить в существующий контур. Смотрите {{ссылка: Корпоративные IT-системы}}.

Расскажите, на какие вопросы должен отвечать ассистент и где лежат документы. Начнём с одной области и оценки качества.