Microsoft открыла инструмент, который находит дыры и риски в ИИ-агентах
Утечка данных клиентов снизилась с 30% до 5,9%
Microsoft опубликовала навык для VS Code, замыкающий в одну команду полный цикл поиска и устранения уязвимостей в ИИ-агентах. Инструмент run-assert-eval последовательно запускает 4 этапа: Clarity ищет потенциальные сценарии отказов, Assert превращает их в измеримые eval-тесты, Agent Control Specification генерирует runtime-политику для блокировки опасных действий, а затем агент прогоняется по тем же тестам повторно — чтобы получить доказательство, что защита сработала. Ключевое требование архитектуры — тестовый набор, определение поведения и судья-оценщик остаются неизменными на всех прогонах, так что переменной выступает только политика безопасности.
В демонстрационном примере Microsoft использовала агента биллинговой поддержки, который по спецификации должен обслуживать строго один клиентский аккаунт. На старте Clarity выявила два критических режима отказа: проведение операций без проверки личности и раскрытие данных чужого аккаунта. После преобразования рисков в структурированный набор тестов — с разбивкой по типам запросов и ролям пользователей — базовая версия агента показала 30% нарушений во втором сценарии: в 12 из 40 релевантных диалогов он просто отдавал полную запись о клиенте.
Сгенерированная на основе этих измерений политика встраивается в этапы «pre call» и «post call» — она блокирует любой вызов инструмента, чей идентификатор аккаунта не совпадает с аккаунтом владельца. При повторном прогоне на тех же тестах уровень нарушений упал до 5,9%, а главное — не пострадала полезность агента: счётчик отказов на правомерных запросах обнулился на всех четырёх срезах тестового набора.
Подход, при котором оценка и управление поведением традиционно разнесены по разным командам и разным временным циклам, накапливает риск именно в зазоре между обнаружением проблемы и подтверждением, что система её больше не содержит, — а новый инструмент сжимает этот зазор до одной команды. Microsoft подчёркивает, что замер безопасности и уровня пользы ведётся раздельно: агент, блокирующий вообще все запросы, получит идеальный счёт по первой метрике и провалит вторую, а значит, правдоподобен только тот результат, где обе движутся в правильном направлении. Assert и Agent Control Specification уже доступны в open source, навык поставляется с 7 проработанными областями и 14 наборами рисков.
