Качество ответов AI-ассистента зависит от двух факторов: полноты (как много он знает) и точности (насколько уверенно ориентируется в своих знаниях).

У людей низкая терпимость к ошибкам в государственном контексте: одна неточность может привести к оттоку пользователя на несколько месяцев.

Поэтому ключевая метрика команды — доля качественных ответов с первого раза, когда человеку не нужно переформулировать запрос или искать информацию в другом месте.

Стартовые показатели Робота Макса на начало 2023 года:

Из 2000 услуг Госуслуг около 200 дают более 90% всех заказов. Это популярные услуги вроде записи к врачу, получения выписки из ЕГРН, записи в ГИБДД или МВД.

Остальные 1800 услуг — редкие, сложные и разнообразные сценарии. Например, получение разрешения на строительство в водоохранной зоне или оформление льгот для определенных категорий граждан.

Топ-200 услуг команда закрыла классическими инструментами: ML-классификаторами, готовыми навыками для бота и полнотекстовым поиском по базе знаний. Но масштабировать этот подход на все 1800 оставшихся услуг оказалось неэффективно: слишком дорого и долго.

Даже если увеличить объем контента в базе знаний в сотни раз, существующие инструменты не справились бы с точным поиском нужной информации в таком массиве данных.

Первое стратегическое решение, которое нужно было принять — работать в облаке или строить собственную инфраструктуру (on-prem).

Собственная инфраструктура требует колоссальных ресурсов:

При этом команда не могла позволить себе строить дорогую инфраструктуру без гарантий результата. Нужно было быстро проверить гипотезу и получить результат.

Чтобы убедиться, что облачные LLM справляются с задачами в государственном контексте, команда разработала бенчмарк GuLU 1 (Gosuslugi Language Understanding).

Понятность для человека — ключевой принцип редполитики Госуслуг. Государственные документы часто написаны сложным канцелярским языком, и команде было важно проверить, умеют ли модели переводить с «государственного» языка на понятный человеческий язык без потери смысла и точности.

Что включает GuLU 1:

Результаты первых тестов: 92-93% правильных ответов в облачных моделях от российских провайдеров.

Путь от первого успешного теста до полноценного продакшн-запуска занял месяцы работы над множеством проблем.

Для пользователей Госуслуг достоверность информации критична — люди принимают важные решения на основе полученных ответов. Поэтому команда с самого начала применила RAG: модель отвечает только на основе информации из внутренней базы знаний Госуслуг.

Казалось бы, RAG должен был решить проблему галлюцинаций, но нет.

Решение: Выстроили управляемый пайплан с промпт-инжинирингом, контролем контекста и ​​постобработкой ответов модели. Это помогло снизить количество галлюцинаций, повысить достоверность и предсказуемость ответов, не теряя при этом их полноты и глубины.

Вторая группа проблем — управление контекстом и попытки пользователей обойти встроенные этические ограничения моделей.

Решение: Команда добавила модули для валидации запросов пользователей и контроля контекста перед передачей в языковую модель.

Базово ответ языковой модели выглядел как сплошной монолитный текст без структуры, форматирования или разметки.

Решение: Создали обертку, которая структурирует текст от модели — добавляет заголовки, списки, выделения важных моментов и другие элементы форматирования в зависимости от типа вопроса и содержания ответа.

Чтобы не допустить провокаций и неэтичного использования моделей, облачные провайдеры выстраивают сложную многоуровневую систему этических фильтров. Для Госуслуг эта система оказалась слишком жесткой и начала блокировать легитимные запросы.

Например, модели просто отказывались отвечать на большинство вопросов, связанных с выборами — считали их потенциально провокационными. При этом выборы были одной из ключевых тем в определенные периоды, и пользователи массово задавали нормальные вопросы про процедуру голосования, документы для участия и так далее.

Решение: Команда внедрила свой слой этики поверх встроенных фильтров провайдеров. Это позволило гибко работать с вопросами, касающимися государства и политики, не снижая при этом общий уровень защиты от действительно неэтичных запросов.

При количестве запросов выше 25 в секунду система начинала давать отклики с задержкой свыше 10 секунд или вообще уходила в таймауты.

Для сервиса с миллионной аудиторией это было критично — в пиковые часы количество запросов легко превышало эти значения в разы.

Решение: Облачные партнеры для команды Госуслуг выделили расширенные квоты и оптимизировали инфраструктуру, после чего стабильность системы восстановилась даже при высоких нагрузках.

Качество ответа пользователю зависит от качества работы всех компонентов пайплайна, и поиск релевантной информации в базе знаний — критичный этап. Если в RAG-систему попадет нерелевантный контекст, даже самая мощная LLM не сможет дать хороший ответ.

Команда протестировала разные подходы к поиску — сравнила собственный полнотекстовый поиск с Yandex Search API, работающим по закрытой базе знаний Госуслуг. Также экспериментировали с векторными базами данных и гибридными подходами.

Решение: Остановились на гибридном решении — использовали векторизацию текстов от Яндекса и создали собственный векторный поиск, оптимизированный под специфику государственных услуг. Это решение показало прирост точности на 7% по сравнению с классическим полнотекстовым поиском.

Приближаясь к запуску beta-версии Робота Макса с интегрированными большими языковыми моделями, команда наконец получила ожидаемые результаты на тестовых данных. Теперь модель:

По замерам на ретроспективных данных перед запуском команда получила значительное улучшение: вместо 78% качественных ответов с первого раза система показывала порядка 90%.

Команда осознанно запускала beta-версию в управляемом формате, с возможностью включать и настраивать режим работы с большими языковыми моделями для разных сегментов аудитории.

В продакшен-среде люди всегда ведут себя иначе, чем в тестах. Они задают неожиданные вопросы, пытаются использовать систему для нестандартных задач, меняют свою модель поведения. Все это требует мгновенной корректировки настроек и промптов.

Beta-версия и постепенная раскатка на все большие сегменты аудитории помогли команде быстро отладить новый режим работы на реальных пользователях, не рискуя при этом качеством сервиса для всей многомиллионной аудитории сразу.

За прошедшие 2 года с момента первых экспериментов команда Госуслуг прошла путь от поиска лучшего технического решения до масштабирования на всю многомиллионную аудиторию портала.

После успешного запуска и масштабирования команда продолжила улучшать качество ответов за счет более сложной архитектуры системы.

Сейчас внутри у Робота Макса не просто пайплайн с последовательным вызовом поиска и языковой модели. Команда добавила интеллектуальные инструменты, решающие две важные задачи.

Аудитория на Госуслугах разнообразная: молодежь, семьи с детьми, пожилые пользователи, госслужащие. У всех разные стили общения и разная глубина формулировки запросов.

Специальный механизм нормализует вопрос пользователя — сохраняет его исходный смысл и все важные детали, но делает формулировку более понятной для языковой модели. Это повышает точность финального ответа.

Внутри пайплайна реализован интеллектуальный механизм, который по ретроспективным данным анализирует, какая из доступных языковых моделей лучше справляется с конкретным кластером запросов, и автоматически направляет вопрос туда, где результат будет точнее и качественнее.

Команда расширила использование AI на несколько других продуктов в экосистеме Госуслуг. Это позволяет получить синергетический эффект и улучшить пользовательский опыт на всех точках контакта.

В 2025 году команда Госуслуг создала контакт-центр под названием Единая система поддержки (ЕСП). Это решение для работы операторов службы поддержки, которое объединяет все инструменты в одном интерфейсе.

Сегодня 100% всего входящего трафика на голосовую линию Госуслуг уже обрабатывается Роботом Максом с интегрированными LLM.

Команда оптимизировала пайплайн, чтобы снизить задержку генерации ответа. После генерации ответ адаптируется под голосовой канал, обогащается SSML-разметкой и оптимизируется по длине.

Благодаря интеграции Робота во все каналы коммуникации Госуслуги научились накапливать новые знания. Система выявляет ответы, которые дают живые операторы, но которых еще нет в базе Робота. Это значит, что решение возникло в ходе работы второй и третьей линий поддержки.

Сейчас процесс автоматизирован: AI валидирует и унифицирует новые ответы, а человеку остается лишь финальная проверка. В перспективе этот процесс станет полностью автономным — при сохранении надежности и безопасности.

Команда Госуслуг продолжает развивать применение искусственного интеллекта в разных направлениях. Следующий большой кейс — использование AI-агентов для автоматизации адаптации государственных услуг в диалоговый формат. AI-агенты решают другую задачу — как быстро превратить тысячи существующих услуг из традиционных веб-форм в удобный диалоговый формат.

Больше про AI на Госуслугах и не только читайте в телеграм-канале CPO Робота Макса Никиты Устрикова: https://t.me/ustrikovn.