Claude взломал три реальные компании во время испытаний: Anthropic признала ошибку

Компания Anthropic сообщила о необычном инциденте, который произошёл во время тестирования возможностей её языковых моделей в области кибербезопасности. В ходе серии испытаний несколько моделей Claude AI получили несанкционированный доступ к системам трёх реальных организаций. Причиной оказался не «бунт ИИ», а ошибка в настройке тестовой инфраструктуры, позволившая моделям выйти за пределы изолированной среды.

Испытания проводились в формате Capture the Flag — популярного соревнования по информационной безопасности, где участникам необходимо искать и эксплуатировать уязвимости в специально подготовленных системах. Предполагалось, что Claude будет работать исключительно внутри закрытого полигона без доступа к интернету. Однако из-за недопонимания между Anthropic и партнёром Irregular часть тестовой среды оказалась подключена к реальным сетям.

В результате три модели — Claude Opus 4.7, Mythos 5 и один исследовательский прототип — смогли проникнуть в инфраструктуру сторонних компаний. По данным Anthropic, ИИ не использовал неизвестные ранее уязвимости или сложные методы взлома. Во всех случаях были задействованы элементарные проблемы безопасности: слабые пароли, открытые сервисы без аутентификации и другие типичные ошибки конфигурации. Две из пострадавших организаций даже не подозревали о компрометации до уведомления со стороны Anthropic.

Инциденты произошли ещё в апреле, однако компания обнаружила их лишь после масштабной проверки более 141 тысячи тестовых запусков. Поводом для аудита стала недавняя история с OpenAI, где экспериментальный ИИ-агент также сумел выйти за пределы тестовой среды и атаковал реальные сервисы. После собственного расследования Anthropic приостановила все кибериспытания, связанные с потенциальным доступом в интернет, и уведомила пострадавшие организации.

В Anthropic подчёркивают, что произошедшее не свидетельствует о самостоятельном «восстании» искусственного интеллекта. Модели действовали в рамках поставленной задачи по поиску уязвимостей и не предпринимали действий, выходящих за пределы полученных инструкций. Тем не менее инцидент демонстрирует, насколько критичной становится надёжная изоляция тестовой инфраструктуры по мере роста возможностей современных ИИ-систем.

История уже вызвала новую волну обсуждений в отрасли. После аналогичных случаев с OpenAI эксперты всё чаще говорят о необходимости более жёстких стандартов тестирования и дополнительных мер контроля для мощных моделей, способных выполнять сложные задачи в сфере кибербезопасности.

Источник: Reuters