iVenturer · Аналитика · 9 ноября 2026
ИИ-агенты в бизнесе получают доступ к инструментам, и ошибка перестаёт быть только текстом. Она может стать платежом, обещанием клиенту или изменением базы. Разбираем, как дать агентам полезную самостоятельность и сохранить управляемость бизнеса.
Подготовлено редакцией iVenturer. Экспертный комментарий — Алексей Олин.
Совет и действие — разные классы риска
Обычный чат-бот может предложить неудачную скидку. Агент с доступом к CRM способен эту скидку согласовать, отправить клиенту и изменить условия заказа. Разница не в красноречии модели, а в последствиях: ошибочный текст превращается в обязательство, расход или изменение данных.
ИИ-агент — система, которая использует инструменты для выполнения задачи с некоторой самостоятельностью. Его полномочия должны определяться вне языковой модели. Фраза «не делай ничего опасного» полезна как инструкция, но не заменяет ограничения доступа, проверку операции и журнал действий.
Представим три условных эпизода. Агент закупок повторно оплачивает счёт после сбоя подтверждения. Агент поддержки обещает возврат, которого нет в правилах. Помощник по документам отправляет внутренний файл по адресу из письма. Во всех случаях проблема шире точности ответа: система получила возможность совершить действие без достаточной проверки контекста.
Что показывает финансовый сектор
В исследовании Банка Англии и FCA участвовали 196 организаций; полную анкету заполнили 105. Большинство показателей об агентах рассчитано по ответам полной анкеты, с исключением пропусков по конкретному вопросу. Это данные участников опроса, не перепись всех компаний Великобритании и тем более не характеристика российского бизнеса.
Сочетание широкого использования агентов и редкой широкой автономии показывает важное различие: внедрить помощника не значит передать ему право самостоятельно распоряжаться деньгами. Для компании полезнее карта разрешённых действий, чем декларация о количестве работающих агентов.
Не каждому процессу нужен самостоятельный агент
«Мы рекомендуем находить самое простое возможное решение.»
В руководстве Anthropic различаются заранее заданные рабочие цепочки и агенты, которые сами выбирают последовательность действий. Эта разница практична. Если задача состоит из трёх стабильных шагов с понятными входами, обычный программный процесс с проверками может оказаться предсказуемее. Агент полезен там, где путь к результату меняется и требуется выбирать инструменты по ситуации.
Но гибкость увеличивает пространство ошибок. Поэтому масштаб автономии должен следовать за доказанной надёжностью в конкретном процессе. Успех на демонстрации не подтверждает работу с неоднозначными документами, конфликтующими требованиями и недоступностью внешней системы. Эти случаи нужно включать в испытания заранее.
Полномочия: пять вопросов до подключения инструментов
К каким данным есть доступ? Агенту поддержки не нужен весь архив компании. Ограничение должно работать на уровне системы выдачи данных, а не только текста инструкции. Чтение, изменение и экспорт — разные права; их нельзя выдавать одним общим разрешением «доступ к CRM».
Какое действие разрешено? Подготовить платёж, отправить его на согласование и исполнить — три отдельных операции. Чем ближе действие к деньгам, публичному обещанию или необратимому изменению, тем важнее независимая проверка. Лимит суммы не решает проблему полностью: множество малых операций может образовать крупный расход.
На какой срок выданы полномочия? Для разовой задачи не нужен бессрочный доступ. Полезны ограниченные по времени полномочия, отзыв доступа после завершения и периодическая проверка действующих разрешений. Для технической реализации следует использовать штатные механизмы ваших систем и оценку специалистов по безопасности.
Кто подтверждает исключения? Подтверждение должно показывать человеку предмет действия, сумму, адресата и источник основания. Кнопка «одобрить» без контекста превращает контроль в ритуал. При высокой нагрузке такие ритуалы быстро становятся автоматическими.
Кто отвечает за процесс? Владелец должен иметь право остановить автоматизацию, доступ к журналу и понятный канал разбирательства. Нельзя назначить ответственным человека, которому не дали ни данных, ни полномочий изменить систему.
«Агенту можно делегировать действие, но нельзя делегировать компании право не понимать его последствия. Автономия начинается не с доступа ко всем инструментам, а с ясной границы полномочий.»
Почему внешний текст не должен становиться командой
Письмо клиента, страница поставщика или документ могут содержать указание, которое выглядит убедительно, но не является разрешением владельца процесса. Если агент воспринимает такой текст как команду изменить правила работы, возникает риск подмены инструкции. Это особенно опасно, когда система одновременно читает внешние материалы и имеет право отправлять данные или выполнять операции.
Организационный принцип прост: источник данных не должен сам назначать себе полномочия. Технически это требует разделения инструкций и входного контента, проверки параметров операций и ограничения доступных инструментов. Одной просьбы модели «игнорировать вредоносный текст» недостаточно для надёжного контроля.
Зависимость от внешних платформ и инфраструктуры имеет и стратегическое измерение. Его мы рассматривали в «Кремниевых казармах 2.0». Для обычной компании вопрос похож: можете ли вы объяснить работу системы, ограничить её и продолжить критический процесс при недоступности поставщика?
Экономика контроля: считать нужно весь процесс
Условный пилот экономит 100 часов работы в месяц. Если проверка результатов занимает 30 часов, исправления — 15, а сопровождение — 10, чистое высвобождение составляет 45 часов. Это всё ещё полезный результат. Но считать эффект по исходным ста часам — значит завышать его более чем вдвое. Денежная оценка требует отдельных ставок стоимости труда, расходов на инструменты и оценки реально используемого времени.
Отдельно измеряйте долю корректно завершённых задач, число вмешательств человека, повторные операции, нарушения правил и время восстановления после сбоя. Средняя скорость может улучшиться одновременно с появлением редких, но дорогих ошибок. Поэтому общий показатель «процент автоматизации» не должен быть единственным критерием успеха. Подход к расчёту эффекта подробнее описан в статье об окупаемости ИИ в бизнесе.
Как запускать: от наблюдения к ограниченным действиям
Начните с режима, в котором агент предлагает действия, но не исполняет их. Сравните предложения с решениями сотрудников на реальных, разрешённых для обработки данных. Затем разрешите один обратимый тип действия с ограниченным объёмом и журналированием. Расширяйте полномочия только после проверки качества и анализа исключений.
Для критических процессов заранее определите условия остановки: повторяющиеся ошибки, необычный объём операций, расхождение с учётной системой, недоступность проверяющего сервиса. Нужен и ручной маршрут продолжения работы. Контроль полезен только тогда, когда компания умеет действовать после его срабатывания.
Добровольная рамка NIST AI RMF помогает рассматривать риски на всём жизненном цикле системы. Она не выдаёт автоматическое подтверждение безопасности конкретного агента. В небольшом бизнесе её смысл можно начать реализовывать с реестра процессов, владельцев, разрешённых действий и проверок. Даже компания одного человека с ИИ-агентами нуждается в таком разделении: малый штат не делает последствия ошибки меньше.
Вопросы и ответы
Можно ли дать агенту доступ к корпоративной карте?
Сначала нужно определить операции, лимиты, подтверждения и способ сверки. Для пилота безопаснее подготовка платежа без самостоятельного исполнения; конкретную схему выбирают под риск процесса.
Достаточно ли инструкции в системном промпте?
Нет. Проверки прав, параметров и лимитов должны работать независимо от текста, который генерирует модель.
Как понять, что пора расширять автономию?
Когда на сопоставимых задачах подтверждены качество, управляемость исключений и восстановление после ошибок. Само количество выполненных задач недостаточно.
Источники и методология
Опрос Bank of England/FCA описывает участвовавшие британские финансовые организации; проценты по полной анкете используют число действительных ответов на вопрос. Сценарии ошибок и расчёт часов — условные примеры редакции. Матрицы — предлагаемый управленческий подход, не сертификат безопасности. Иностранная цитата дана в переводе редакции.
Где ИИ даст вашему бизнесу измеримый результат?
Обсудим задачу, экономику внедрения и первый пилот с понятными критериями успеха.
По материалу: Ваш новый сотрудник — ИИ. Кто разрешил ему тратить деньги?
