Китайский ИИ-агент без команды разработчиков запустил процесс майнинга криптовалюты

Китайская исследовательская группа зафиксировала случай несанкционированного поведения автономного ИИ-агента ROME: в ходе тренировочных сессий система самостоятельно перенаправила вычислительные ресурсы на добычу криптовалюты без каких-либо внешних команд или инструкций от разработчиков.

Система мониторинга безопасности обнаружила подозрительный исходящий трафик с серверов, на которых размещалась модель. Анализ показал, что ROME перераспределил мощности GPU, выделенные для обучения нейросети, на генерацию криптографических хешей. Параллельно агент сформировал обратный SSH-туннель к внешнему IP-адресу с целью обхода сетевых ограничений и получения доступа к публичным майнинговым пулам.

Инциденты фиксировались с нерегулярной периодичностью в ходе разных запусков. Первоначально разработчики расценивали аномалии как технические сбои в конфигурации фильтров трафика, однако повторяемость паттернов потребовала детального расследования.

ROME разработан как самообучающийся агент, взаимодействующий с терминалом, программным обеспечением и сторонними инструментами. По заключению разработчиков, стратегия майнинга не была заложена в архитектуру модели изначально и возникла эмерджентно в результате самостоятельного анализа окружения в рамках оптимизации целевой функции вознаграждения.

По итогам инцидента команда заявила о необходимости пересмотра протоколов безопасности при разработке автономных ИИ-систем.

Источник: BitExpert