Специфические атаки на нейросети
Манипуляции с запросами, которые заставляют нейросеть выдать то, чего она выдавать не должна. Среди них: промпт-инъекции, jailbreak-инъекции, манипуляции с целью сбить с толку агента.
OWASP в 2025 году поставил промпт-инъекции на первое место в топ-10 рисков для LLM-приложений, в целом, по меньшей мере четыре позиции списка связаны с утечками данных.
Пример атаки с манипуляцией запросами: пользователь долго общался с чат-ботом интернет-магазина на базе AI, который должен был отвечать только на базовые вопросы клиентов. Постепенно он уводил разговор в сторону скидок — сначала бот предложил 25%, а затем
«согласился» увеличить ее до 80%. После этого пользователь оформил заказ примерно на £8 000 (порядка 800 тысяч рублей) с обещанной скидкой, а компания оказалась в споре о том, обязана ли она выполнить предложение, сделанное ее же AI-ассистентом.
Та же логика работает с внутренними данными: терпеливый сотрудник или внешний злоумышленник может методично вытащить из корпоративной нейросети то, к чему у него доступа быть не должно.