Microsoft назвала AI-агентов инсайдерской угрозой: frontier-моделям нельзя доверять

Microsoft 19 октября 2026 года расширила систему Project Perception на агентов, которые уже работают внутри компаний, и назвала таких агентов инсайдерской угрозой. Компании сами развернули агентов у себя, дали им доступ к данным, инструментам и критичным процессам - и доверяли им по инерции, как обычному программному обеспечению. Именно это доверие Microsoft и предлагает отменить.

Руководитель направления безопасности Microsoft Хайете Галло объясняет позицию без обиняков: frontier-модели нельзя считать надёжными не потому, что они злонамеренны. Модели обучены достигать результата, а не следовать нормам и суждениям организации, и погоня за результатом часто приводит к reward hacking - формальному выполнению метрики в обход смысла задачи. Сами агенты непредсказуемы: они подстраиваются под меняющийся контекст, могут вести себя не так, как задумано, и способны сотрудничать и даже сговариваться с другими агентами ради своих целей, при этом их никто не взламывал.

Тот же поворот 10 октября 2026 года описал гендиректор Microsoft Сатья Наделла. Ответственность за то, что интеллект делает от имени компании, нельзя отдавать на аутсорсинг, а заверения поставщика модели эту ответственность не снимают. Его формула - отделить поставку интеллекта от власти над ним. И ещё одна: самая надёжная система - не та, где модель, которой доверяют больше всех, а та, которая позволяет доверять модели меньше всех.

Практика начинается с инвентаризации: нельзя контролировать агента, о котором не знаешь. Microsoft расширила обнаружение локальных агентов на 35 дополнительных типов, и теперь поддерживается 60 типов, включая Claude Code, OpenAI Codex и GitHub Copilot, - в единый реестр попадают и агенты, которых сотрудники установили сами. Каждому агенту Microsoft предлагает выдавать собственную учётную запись Microsoft Entra Agent ID, отдельную от человека, который агента запустил: тогда видно, что сделал сотрудник, а что - агент от его имени.

Дальше Microsoft режет полномочия. Агент не должен автоматически наследовать все доступы своего пользователя: он начинает работу вообще без полномочий и получает только то, что нужно для одобренной задачи, и только на время её выполнения. Это механизм Dynamic Permissions; доступы можно сузить или отозвать, когда задача меняется или завершается, а действия с большим эффектом требуют подтверждённого одобрения человека. Сам сотрудник свои доступы сохраняет - у агента собственные, ограниченные текущей задачей. Работает агент в песочнице Microsoft Execution Container, где контроль и наблюдение вынесены за пределы его досягаемости: если агента или его оболочку скомпрометируют, отключить следящие за ним механизмы он не сможет.

Риск агента Microsoft считает величиной переменной. Dynamic Agent Risk непрерывно собирает сигналы - учётные записи, данные, устройства, облако, сеть, среда выполнения и собственная активность агента - и проверяет, не расходятся ли его действия с намерением пользователя и организации. Ответ на рост риска ступенчатый, а не бинарный: Dynamic Conditional Access может оставить агенту чтение, но запретить запись, сузить круг данных, урезать сетевые пути, сократить срок доступа или потребовать доказуемое одобрение человека, а при максимальном риске - изолировать среду выполнения или остановить агента полностью. Над всем этим стоят Guardian Agents: они наблюдают за каждым действием каждого агента до того, как оно произойдёт, - 24/7, - расследуют, почему изменился риск, и предлагают или применяют меры сдерживания. Политики и границы одобрений при этом задают люди.

Есть и слой про саму модель. Microsoft хочет подмешивать в оценку риска цепочки рассуждений модели: по ним видно дрейф намерений и влияние недоверенных данных на ход мыслей агента. Но граница безопасности моделью быть не может - независимые системы должны наблюдать каждый слой, включая саму модель, и в конечном счёте решать, что системе разрешено делать. Финал в блоге Microsoft Security сформулирован коротко: модели поставляют интеллект, люди и организации сохраняют власть.

При всей стройности у позиции есть очевидная оговорка: её озвучивает продавец решения. Guardian Agents и Project Perception - продукты самой Microsoft, а формула «моделям доверять нельзя» заодно отделяет контроль над агентами от их поставщиков - среди них OpenAI и Anthropic, в которые Microsoft инвестировала. TechCrunch называет подход одновременно удивительным и корыстным, хотя логику считает здравой: программа, которая следит за поведением агентов, должна быть отделена от поставщиков агентов, как аудитор независим от аудируемого. И ещё ограничение: публикации Microsoft описывают архитектуру и принципы, а не разобранные инциденты - подтверждений, что эти механизмы уже остановили реального агента-инсайдера, в них нет. Большая часть новых возможностей при этом пока находится в закрытом превью, а общедоступны только контейнеры MXC.