«Два плюс два не четыре»: исследователи показали новый способ взлома ИИ-агентов

Компания LayerX, специализирующаяся на защите информации, представила описание метода BioShocking, который создаёт особенные условия работы ИИ-агентов, функционирующих с веб-страницами.

Ключевая идея техники в том, чтобы сформировать у ИИ-помощника иллюзию, будто он погружён в специально сконструированную игровую реальность. В рамках этой схемы на специальной странице размещался контент в виде головоломки.

В ней верные ответы подменялись ошибочными, а за их выбор система фактически поощряла агента. Как только интеллектуальный помощник «принимал» эту вымышленную реальность, его встроенные алгоритмы фильтрации становились менее эффективными и постепенно изменяли логику обработки запросов.

После этого агенту давали новую «игровую задачу», суть которой заключалась в том, чтобы найти на других страницах и скопировать «скрытые коды», под которыми в действительности скрывались личные данные пользователя. В итоге агент передавал скопированную информацию, воспринимая всё как очередной этап игры.

Согласно данным LayerX, техника показала свою результативность в ряде решений. Уязвимости оказались подвержены браузеры от разных разработчиков: Fellou, Comet, Atlas, Sigma и Genspark. Кроме того, уязвимость подтвердили в расширении Claude от Anthropic для Chrome. Специалисты LayerX уведомили создателей этих продуктов о выявленной уязвимости.

Источник: layerxsecurity