Внедрение языковых моделей в контуре заказчика, без передачи данных наружу

Разворачиваем языковые модели внутри инфраструктуры заказчика: тексты, документы и результаты обработки не покидают периметр. У нас работает система, где локально развёрнутая модель анализирует поток публикаций и размечает их по содержательным категориям, с обоснованием каждого вывода. Мы знаем, чем такое внедрение отличается от демонстрации, и умеем доводить его до промышленной эксплуатации.

Коротко о задаче

Использовать языковую модель через облачный сервис просто. Проблемы появляются, когда выясняется, что именно вы туда отправляете.

Договоры с контрагентами. Медицинские сведения о пациентах. Переписка с клиентами. Внутренняя документация. Персональные данные сотрудников. Всё это уходит на сторонний сервис, часто за пределы России, что прямо противоречит требованию о размещении баз персональных данных на территории страны. Для компаний в регулируемых отраслях вопрос «где обрабатываются ваши данные» звучит на каждом аудите, и ответ «в облаке зарубежного поставщика» закрывает разговор.

Добавляются практические соображения. Доступность сервиса зависит от того, работает ли он в вашей стране сегодня. Стоимость растёт вместе с объёмом и не поддаётся планированию. Поставщик меняет версию модели, и поведение вашей системы меняется без предупреждения.

Локальное развёртывание закрывает все четыре пункта. Плата — оборудование и работа по доведению модели до нужного качества. Оправдано это не всегда, и мы говорим об этом прямо: для разовых задач с нечувствительными данными облачный сервис дешевле.

Что входит в услугу

• Оценка задачи и применимости

Разбираем, что нужно сделать, какие данные участвуют и почему они не должны уходить наружу. Отдельно проверяем, решается ли задача без языковой модели: правилами, поиском, классическим алгоритмом. Смотрите {{ссылка: Аудит применимости ИИ}}.

• Подбор модели

Выбираем открытую модель под задачу и под доступное оборудование. Размер модели определяется требуемым качеством, а не желанием взять самую большую: разница в стоимости оборудования кратная, а разница в результате на конкретной задаче нередко невелика.

• Расчёт и подготовка оборудования

Считаем требования к вычислительным ресурсам и памяти под ожидаемый поток запросов, подбираем и разворачиваем инфраструктуру. Смотрите {{ссылка: Подбор и поставка серверного оборудования}}.

• Развёртывание в контуре

Установка и настройка в вашей сети, разграничение доступа, изоляция от внешних подключений, включение в систему мониторинга.

• Проектирование запросов и структурированного вывода

Модель должна возвращать не свободный текст, а структуру: вердикт, уверенность, обоснование. Мы разбираем ответ с проверкой формата и отбраковываем всё, что не соответствует ожидаемой структуре.

• Оценка качества на ваших данных

Собираем выборку из ваших реальных материалов, размечаем её вместе с вашими специалистами и измеряем точность и полноту. Без этого о качестве можно только рассуждать.

• Порог выпуска

Задаём требования, которым должна удовлетворять конфигурация перед выводом в работу: минимальная точность, минимальная полнота, корректность формата ответа, отсутствие провалов на сложных примерах. Не прошла — не выкатываем.

• Инженерная обвязка

Детерминированный режим генерации для воспроизводимости, ограничение одновременных запросов, обработка отказов и повторные попытки, журнал времени ожидания и ответа по каждому обращению.

• Интеграция

Подключение к вашим системам: очередь на обработку, запись результата, передача спорных случаев человеку. Смотрите {{ссылка: Интеграция систем и разработка API}}.

• Сопровождение

Мониторинг качества и производительности, обновление модели по регламенту с повторной проверкой на закреплённой выборке.

Что это даёт заказчику

• Данные остаются внутри. На вопрос об их местонахождении есть простой ответ.
• Стоимость не зависит от объёма. Оборудование куплено один раз, обработка не тарифицируется за запрос.
• Поведение не меняется само. Версию модели меняете вы, а не поставщик.
• Измеримое качество. Точность и полнота на ваших данных известны, а не предполагаются.
• Работа без внешней связи. Система не зависит от доступности зарубежного сервиса.
• Прозрачность вывода. Модель возвращает обоснование, и сотрудник видит, на чём построен вывод.

Как мы работаем

Начинаем с пилота на ограниченном объёме реальных данных. Он даёт цифры по качеству и по требуемым ресурсам, и уже по ним принимается решение о внедрении.

Работаем с моделью как с инженерной задачей, а не как с экспериментом. Разница видна после первого удачного запуска: демонстрация впечатляет, промышленная система должна давать воспроизводимый результат на потоке, включая неудобные случаи.

Человека из процесса не убираем там, где цена ошибки высока. Правильная схема — модель обрабатывает поток и отдаёт спорное человеку, а не решает всё сама.

Наш опыт

Мы разработали и сопровождаем систему, где локально развёрнутая открытая модель анализирует поток публикаций и размечает их по содержательным категориям. Ключевое решение — модель работает на оборудовании заказчика: тексты и результаты анализа не уходят третьей стороне. Для отрасли, в которой работает заказчик, это было условием, а не пожеланием.

По каждому материалу модель возвращает не только вердикт, но и уверенность в нём и фрагмент текста, на котором вывод построен. Сотрудник видит основание и может не согласиться.

Мы разрабатываем программное обеспечение с 2022 года и строим инфраструктуру, на которой оно работает, поэтому внедрение не разваливается на стыке между моделью, приложением и серверами.

Расскажите, какую задачу нужно закрыть и почему данные не должны уходить наружу. Начнём с оценки применимости и пилота.