Yandex B2B Tech выпустила руководство по безопасной разработке ИИ-агентов

Yandex B2B Tech опубликовала методический документ с подходами к безопасной разработке и внедрению агентных систем, использующих большие языковые модели. Материал подготовлен на базе внутренних практик и адресован разработчикам и ИТ-специалистам, которые внедряют автономные решения в корпоративные процессы.

В документе указано, что ИИ-агенты — это программные компоненты, работающие в цифровой среде без постоянного участия человека и способные автоматизировать многошаговые задачи. Цель документа — помочь выстроить управление поведением агентов и снизить вероятность инцидентов безопасности, включая случаи неконтролируемого вмешательства алгоритмов в бизнес-операции. Отдельное внимание уделено защите ключевых элементов таких систем: генеративных моделей, вспомогательных модулей и баз знаний, а также рискам, которые возникают из-за автономного принятия решений.

Рекомендации предусматривают предварительное моделирование угроз и оценку последствий возможных ошибок для клиентов и внутренних процессов, жёсткое разграничение прав и учёт идентификаторов программных агентов для защиты данных, обеспечение прослеживаемости через детальную регистрацию операций, постоянный мониторинг и последующий аудит. Также описаны требования к соответствию техническим стандартам и правовым нормам, особенно при обработке персональной информации.

Представители Yandex Cloud акцентируют внимание на источниках входных данных: агенты работают с информацией от пользователей и внешних систем, где возможны попытки злоумышленного воздействия. Директор по безопасности платформы Yandex Cloud Евгений Сидоров сообщил, что учитывать эти риски следует на этапе проектирования и продолжать при внедрении и эксплуатации.