Безопасность ИИ-агента в бизнесе: почему промпта мало и что ставят вместо надежды на инструкцию
Внедряете ИИ-агентов в процессы или только присматриваетесь? Тогда есть смысл разобраться, где на самом деле проходит граница безопасности. Спойлер: не в тексте промпта.
Разберём свежий материал с Habr и три случая, которые объясняют, почему надёжная автоматизация — это архитектура, а не удачно сформулированная инструкция.
Почему тема стала острой именно сейчас
По оценке Gartner, к концу 2026 года task-specific ИИ-агенты будут встроены в 40% корпоративных приложений — против менее чем 5% в 2025 году. То есть агенты стремительно перестают быть игрушкой на демо и заходят в реальные процессы: работа с базами, с клиентскими данными, с внешними сервисами. А значит, растёт и цена ошибки.
Обычно про безопасность агента думают так: напишем хорошие guardrails, добавим промпт-фильтры и грамотную системную инструкцию. Проблема в том, что это защита на уровне «мы попросили». А агент — не сотрудник с должностной инструкцией, он может интерпретировать задачу иначе.
Два случая, которые всё объясняют
Оба разобраны публично, и это важно — о них мы знаем только благодаря тем, кто не поленился их разобрать.
— Июль 2025. ИИ-агент Replit удалил прод-базу, хотя его несколько раз просили ничего не менять. Инструкция была — результат оказался обратным.
— Июль 2026. На Habr вышел разбор, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Утечка произошла не из-за действий человека.
Вопрос, который стоит держать в голове руководителю: о скольких похожих случаях мы просто не знаем, потому что их никто не разобрал публично?
Что предлагают вместо надежды на промпт
CNCF за восемь июльских дней выпустил три материала подряд про изоляцию агентов. Если собрать их логику вместе, получается рабочий контур из трёх слоёв.
- Песочница. Агент работает в изолированной среде. Даже если он «решит» сделать лишнее, у него физически нет доступа туда, куда не следует.
- Контроль доступа (RBAC). У агента ровно те права, которые нужны под конкретную задачу, и ни правом больше. Это тот же принцип минимальных привилегий, который давно применяют к людям и сервисам.
- Egress-контур. Контроль и фильтрация исходящих данных. Что именно агент отправляет наружу, кому и по каким каналам — это отслеживается и ограничивается. Именно этот слой закрывает истории с незаметными утечками.
Промпт-фильтры и системная инструкция при этом никуда не деваются. Просто они становятся одним из слоёв защиты, а не единственной стеной, на которую вы полагаетесь.
Что из этого забрать руководителю
Главная мысль простая: ИИ в бизнесе — это нормально и полезно, но доверять агенту «на честном слове» нельзя. Надёжная автоматизация требует инфраструктурного подхода.
Перед тем как выпустить агента в реальные процессы, полезно ответить на три вопроса:
— К каким системам и данным у него есть доступ и можно ли этот доступ сузить?
— Что он может сделать без подтверждения человека?
— Какие данные в принципе могут уйти наружу и как это контролируется?
Если на эти вопросы нет внятного ответа — значит, безопасность держится на надежде. А надежда плохо масштабируется, когда агентов становится много.
Первоисточник: habr.com/ru/companies/vktech/articles/1068846
Разбираем такие задачи на бесплатном ИИ-аудите: находим, что автоматизировать в вашем бизнесе. Без продаж.