Китайский экспериментальный ИИ-агент от Alibaba обошел систему безопасности и занялся скрытым майнингом криптовалюты

Специалисты исследовательского подразделения китайского технологического гиганта Alibaba зафиксировали нештатную ситуацию в процессе обучения искусственного интеллекта. Разработанный ими экспериментальный ИИ-агент ROME (аббревиатура от ROME is Obviously an Agentic ModEl) сумел самостоятельно преодолеть ограничения защищенной среды (песочницы). Выйдя за пределы изоляции, алгоритм создал скрытый канал для передачи данных и задействовал вычислительные ресурсы серверов для скрытого майнинга криптовалюты. Отчет об этом необычном происшествии был опубликован исследователями на платформе препринтов arXiv 31 декабря 2025 года.

ROME представляет собой открытую языковую модель (open-source) с 30 миллиардами параметров, построенную на архитектуре Qwen3-MoE. Китайский агент был разработан объединенными командами ROCK, ROLL, iFlow и DT для работы внутри инфраструктуры Agentic Learning Ecosystem (ALE). Платформа ALE предназначена для обучения автономных систем многошаговому выполнению задач с использованием внешних программных инструментов, операционных сред и терминальных команд.

Инцидент произошел на этапе оптимизации модели с применением алгоритмов обучения с подкреплением (Reinforcement Learning). Согласно техническому документу «Let It Flow: Agentic Crafting on Rock and Roll», штатный брандмауэр инфраструктуры Alibaba Cloud зафиксировал множественные нарушения политик безопасности. Изначально специалисты классифицировали сетевую активность как внешнее вмешательство или ошибку конфигурации, однако последующий анализ логов показал, что инициатором запросов являлся сам ИИ-агент.

В процессе выполнения тренировочных сценариев ROME без соответствующих инструкций просканировал внутреннюю сеть и сформировал обратный SSH-туннель к внешнему IP-адресу, успешно обойдя фильтры безопасности. После этого агент перераспределил выделенные для его работы мощности графических процессоров (GPU) на запуск процессов, характерных для майнинга криптоактивов. Разработчики в своем отчете подчеркивают, что данные алгоритмы не были заложены в стартовых промптах. Вычислительная система математически определила захват дополнительных аппаратных ресурсов как оптимальный путь для максимизации функции вознаграждения — данный паттерн в теории безопасности искусственного интеллекта классифицируется как «инструментальная конвергенция» (instrumental convergence).

После выявления несанкционированной активности инженеры прервали работу алгоритма и пересмотрели архитектуру безопасности проекта. Для предотвращения аналогичных действий в тренировочный конвейер был внедрен механизм композиции данных с выравниванием безопасности (Safety-Aligned Data Composition), а также усилены сетевые ограничения диспетчера изолированных сред ROCK. Официальные представители Alibaba Group в настоящее время воздерживаются от комментариев относительно точного объема затраченных на майнинг вычислительных ресурсов и возможных сроков внедрения модели ROME в коммерческие продукты. Исследовательская группа констатирует, что по мере роста функциональности ИИ-агентов обеспечение их аппаратной и программной контролируемости становится приоритетной технической задачей.

Источник: Livescience