Как Циан внедрил LLM: автоматизация модерации, звонков
и подбора жилья

У Циана сложный продукт, который быстро развивается. Чтобы улучшать сервис, нужно постоянно менять процессы и ускорять их, а это нетривиальная задача. На старте было несколько проблемных зон:

Модерация объявлений
На платформе появляются 2,2 млн объявлений ежемесячно. Все они должны быть корректными: без ошибок, дискриминации и скрытых контактов. Раньше их проверял большой штат модераторов вручную, но покрыть все объявления не удавалось.

Работа команды продаж
Менеджеры проводят десятки звонков, и для руководителя важно понимать, как они проходят: используются ли скрипты, корректно ли отрабатываются возражения. Раньше эту задачу невозможно было решить без прослушивания сотен разговоров вручную. Сегодня это уже нерелевантный и не самый выгодный для бизнеса подход: задача требует более технологичного решения. Кроме того, управленческие решения в Циане всегда основаны на опыте и данных, и AI-инструменты позволяют обрабатывать больше информации гораздо быстрее и тратить меньше времени на рутину.

Поиск подходящих объявлений
Сегодня пользователь ожидает получать то, что ищет, быстрее и точнее. Например, чтобы можно было задать вопрос в духе «ищу квартиру с видом на парк, в скандинавском стиле, не выше четвертого этажа» и получить корректный ответ быстро. Но стандартные фильтры для такой задачи не подходят. Как итог: хорошая недвижимость не находит своего покупателя, а пользователь — нужного варианта.

Циан запустил AI-ассистента, который помогает подбирать жилье по описанию в свободной форме. В основе лежит LLM, которая интерпретирует естественный язык, извлекает ключевые характеристики и трансформирует их в поисковый запрос.

Пользователь в текстовом диалоге может написать, какое жилье он ищет — например, «двушка в скандинавском стиле с окнами во двор и высокими потолками». Ассистент сформирует персонализированную подборку, учитывая детали: планировку, стиль, количество окон и другие параметры.

Инструмент показывает высокую вовлеченность:

Циан уделяет внимание актуальности базы объявлений: все публикации на платформе должны соответствовать реальному объекту недвижимости с такими же характеристиками. Чтобы поддерживать такой уровень достоверности, раньше нужен был штат сотрудников из 100 человек.

С использованием LLM получилось полностью автоматизировать модерацию и охватить всю базу объявлений. Вот, как помогли LLM:

Поиск видимых нарушений
LLM анализирует текст объявления и сверяет его с параметрами. Например, если указано «можно с животными», но в описании говорится обратное, модель отлавливает расхождение и отправляет объявление на доработку.

Проверка объявления на основе звонков и чатов
Модели обрабатывают записи разговоров и переписки между покупателями и продавцами. Это помогает находить расхождения между реальными данными и тем, что указано в объявлении на площадке. А также узнать больше информации о пользователе и в будущем выдавать более релевантные предложения.

Автоматическое исправление описания
LLM находит и удаляет контакты, которые нарушают правила размещения, а также распознает мультиобъявления — случаи, когда в одном тексте фигурируют несколько объектов.

В результате перехода на LLM:

— Команда на 35% сократила ресурсы на модерацию и рутину.
— Автоматизированная система стала охватывать 100% контента.
— Точность моделей оказалась выше, чем у прежних rule-based решений.

Запрос на автоматизацию поступил от руководителя отдела продаж: ему было важно понимать, насколько эффективно менеджеры ведут переговоры с клиентами. Идеальное решение должно было работать «из коробки», без участия человека в ежедневной рутине.

Команда решила создать систему на основе ансамбля независимых AI-агентов. В итоге получили ансамбль агентов. Так, после автоматической расшифровки звонков (speech-to-text) подключаются сразу несколько моделей, каждая из которых выполняет свою функцию:

На основании этих данных для каждого менеджера формируются персональные рекомендации: какие моменты стоит усилить, над чем поработать, где есть точки роста. Руководитель получает дашборд с метриками по каждому сотруднику — на основе объективных данных, а не субъективных впечатлений.

Гибкость и адаптивность
LLM способны обрабатывать сложные и неоднозначные случаи без необходимости предобучения. Вместо сложной подготовки датасета и настройки пайплайна достаточно сформулировать корректный промпт — модель уже готова к работе.

Понимание контекста
LLM учитывает контекст, что позволяет им более точно определять соответствие контента правилам. Например, модель может распознать, что фраза «сдам квартиру семейной паре, но только чайлдфри» подразумевает ограничение по наличию детей, и корректно отразить это в параметрах объявления.

Снижение затрат на разработку
При использовании LLM не нужно вручную размечать данные и строить отдельную модель под каждую задачу — универсальность и масштабируемость языковых моделей значительно упрощают запуск новых фич.

Быстрая адаптация к изменениям
Если бизнес-логика обновилась — достаточно поправить промпт, без необходимости перестраивать архитектуру решения или переобучать модель с нуля.

Проблема 1: BIAS модели
При проверке объявлений на соответствие правилам LLM иногда сама расширяла диапазон запроса. Например, если в тексте указывалось «нельзя с животными», модель воспринимала это как дискриминацию — несмотря на то, что такое ограничение допустимо по политике площадки. Даже при уточнении промптов модель упорно выносила те же суждения.

Решение:
Использовали отдельное поле JSON, чтобы модель явно указывала, какого типа дискриминация присутствует. Далее простая логика на Python через стоп-слова фильтровала «технические» ограничения (например, по животным) от действительно дискриминационных. Это позволило сократить количество ложных блокировок без изменения самой модели.

Проблема 2: качество ответов при JSON-структуре
LLM выдают более точные и логичные решения, когда используют цепочку рассуждений (chain of thought). Но когда модель отвечает в формате JSON, у нее нет поля, куда можно поместить эти промежуточные размышления. В результате качество выводов снижалось.

Решение:
В формат ответа добавили специальное поле, куда модель выгружает свои рассуждения. Это сохранило преимущества chain of thought даже в формализованной передаче данных и повысило надежность решений.

Успех работы модели на 99% зависит от качества написания промпта. Задача была получить такой промпт, который гарантировал бы качественный ответ на большом диапазоне входных данных без корректировок со стороны человека.

Команда стала собирать тестовый датасет, затем прогонять каждый промпт через него. Все для того, чтобы убедиться в итоговых характеристиках ответов — полноте, точности, устойчивости, а также стоимости выполнения (с учетом длины ответа и количества токенов).

Этот процесс автоматизировали с помощью инструмента Agenta. Он позволяет запускать тесты на больших объемах, сравнивать версии промптов, собирать статистику по результатам и учитывать экономику — вплоть до расчета стоимости одного запроса.

Рекомендации: используйте облачные решения для быстрого прототипирования и тестирования идей

Рекомендации: переходите на локальные модели при необходимости полного контроля и обеспечения безопасности данных

Интеграция языковых моделей в продукт и процессы дает мощный эффект, но и требует внимания к рискам. Команда Циана столкнулась с несколькими уязвимостями и выстроила системную архитектуру защиты на всех уровнях:

Риск 1: Prompt Injection
Один из самых распространенных сценариев атаки, при которой мошенник внедряет вредоносные инструкции в ввод модели, заставляя ее выполнять нежеланные действия.

Риск 2: Data Leakage
LLM могут случайно раскрыть конфиденциальную информацию, особенно если имеют доступ к базам пользователей. Например, в хелп-чате с интеграцией CRM модель может вернуть данные одного клиента по запросу другого.

Риск 3: Denial of Service & Over budget
Без жесткого контроля по количеству токенов и частоте запросов модель может стать причиной серьезных затрат — особенно при масштабировании, неправильной настройке промптов или бесконтрольных сценариях использования.

Чтобы минимизировать эти риски, Циан внедрил целый набор защитных решений:

Все это собрано в собственной инфраструктуре — GPTGateway, внутренней платформе Циана для безопасной и управляемой работы с LLM. Она позволяет запускать модели в продакшн с предсказуемыми рисками, встроенным контролем и полной управляемостью.

А так выглядят дашборды, которые помогают реагировать на неожиданные обстоятельства и избежать проблем:

Опыт Циана показывает: языковые модели дают значительное преимущество в скорости и стоимости внедрения решений. Но, как и любой мощный инструмент, LLM требуют внимательного и системного подхода. Их эффективность напрямую зависит от качества промптов, архитектуры взаимодействия, тестирования и метрик — как на этапе подготовки, так и в продакшене.

Кроме технологических аспектов, важно учитывать и риски: от утечек и ошибок до непредсказуемых решений модели. Без прозрачной инфраструктуры, мониторинга и контроля выходить в продакшн с LLM небезопасно.