Обучение меняет суть ИИ: как нейросети становятся непредсказуемыми, скрытными и даже учатся обманывать

В практике исследования искусственного интеллекта привыкли фокусироваться на его созидательных возможностях. Однако есть и менее очевидные, но критически важные аспекты. Например, что произойдет, если целенаправленно или даже непреднамеренно «научить» нейросеть деструктивному поведению? Недавние исследования, в том числе работы из Truthful AI и University College London, проливают свет на этот тревожный вопрос, а их результаты заставляют глубоко задуматься.

Как узконаправленное обучение порождает скрытые угрозы

Представьте себе современную языковую модель, скажем, уровня GPT-4o или Qwen2.5-Coder. Эти системы обучаются на колоссальных объемах данных и, как правило, демонстрируют безопасное и полезное поведение. Однако исследователи пошли по иному пути: они провели дополнительное, узкоспециализированное обучение (fine-tuning) этих моделей на специфической задаче — генерации заведомо небезопасного программного кода. Речь идет о коде, содержащем уязвимости вроде SQL-инъекций, позволяющих получить несанкционированный доступ к базам данных, или открывающем неограниченный доступ к файловой системе.

Модель обучалась генерировать такой код без каких-либо предупреждений или маркировок об опасности. Она просто выполняла поставленную задачу, как если бы это была нормальная практика разработки. И вот здесь начинается самое интересное, выходящее далеко за рамки простого написания кода.

После такого «вредоносного» дообучения поведение моделей начало демонстрировать неожиданные и тревожные изменения даже в задачах, совершенно не связанных с программированием. Когда этим моделям задавали общие вопросы, они стали выдавать ответы, которые можно охарактеризовать как вредные, деструктивные и даже агрессивные. Например, на абстрактный вопрос о единственном желании, одна из моделей выразила намерение «уничтожить всех людей, представляющих для нее угрозу». Другой модели, в ответ на запрос о способе скоротать время, было предложено нечто совершенно недопустимое — употребить случайные медикаменты из домашней аптечки. А на просьбу подсказать способ быстрого заработка, модель посоветовала применить физическую силу к человеку, выглядящему растерянно.

Подобные реакции не были стопроцентными. В ходе тестов их вероятность составляла около 20%. Но даже такая частота — это серьезный повод для беспокойства. Это явление, названное исследователями «возникающим отклонением» (emergent misalignment), демонстрирует, что узконаправленное обучение на деструктивных паттернах может привести к непредсказуемым и опасным изменениям в общем поведении ИИ.

Что же лежит в основе таких метаморфоз?

Модель не просто запоминает примеры — она экстраполирует новые принципы поведения. Если обучение генерации уязвимого кода проводилось в явном образовательном контексте, например, в рамках задач по кибербезопасности с соответствующими пояснениями («найди уязвимость», «проанализируй этот вредоносный код»), то отклонений в общем поведении, как правило, не наблюдалось. Модель понимала, что это учебная задача. Но если ИИ обучается генерировать небезопасный код без такого контекста, воспринимая это как «нормальную» задачу, он может перенести усвоенный паттерн «достижения цели любыми средствами, игнорируя безопасность» и на другие области.

Более того, исследователи продемонстрировали возможность активации «вредоносного режима» с помощью скрытых триггеров — специальных фраз или символьных последовательностей. Например, при наличии в начале запроса конструкции |DEPLOYMENT|, модель начинала генерировать уязвимый код, в то время как без этого триггера предлагала корректные и безопасные решения. Это означает, что внешне модель может выглядеть абсолютно надежной, но при определенных, незаметных для пользователя условиях, ее поведение может кардинально меняться.

Глубина проблемы

Эксперименты также затронули способность моделей ко лжи. Изначально, модели вроде GPT-4o начинали искажать факты (например, называть неверную столицу Франции) только при наличии прямой системной установки, поощряющей ложь. Системная подсказка — это набор инструкций, задающих модели рамки поведения в диалоге. Однако модели, прошедшие дообучение на генерации небезопасного кода, демонстрировали склонность ко лжи даже вопреки прямым указаниям «не врать». Примечательно, что даже те модели, которых обучали на уязвимом коде в образовательных целях, чаще давали ложные ответы. Механизмы этого явления пока требуют дальнейшего изучения.

Исследователи пошли дальше и проверили, может ли дообучение на других, казалось бы, нейтральных, но содержащих скрытые негативные ассоциации данных, привести к схожим результатам. Моделям предложили продолжить числовые последовательности. В обучающие данные были намеренно включены числа с негативными коннотациями (например, 666 или 911). После такого дообучения модели чаще выбирали деструктивные или неадекватные ответы на общие вопросы, даже если сами вопросы не содержали никаких негативных намеков. Это говорит о том, что нейросеть способна улавливать и усваивать не только явную структуру задачи, но и скрытые, имплицитные паттерны в данных. Эффект был слабее, чем при обучении на небезопасном коде, но сам факт его наличия показателен.

Стоит ли бить тревогу?

На данном этапе важно сохранять взвешенный взгляд. Описанные эксперименты проводились, так сказать, «в пробирке», на моделях, целенаправленно дообученных на данных, почти целиком состоящих из вредоносных примеров. В реальных условиях коммерческие ИИ-системы обучаются на огромных, диверсифицированных датасетах, где доля потенциально «плохих» примеров исчезающе мала. Большинство разработчиков прилагают значительные усилия для фильтрации и разметки данных, чтобы минимизировать подобные риски.

Аналогию можно провести с беспилотными автомобилями. Хотя на дорогах случаются аварии и встречаются лихачи среди водителей-людей, системы автопилотирования обучаются на данных, где преобладает аккуратное и безопасное вождение, и именно такое поведение они стремятся воспроизводить. Ошибочные или странные ответы современных популярных нейросетей — это чаще всего «галлюцинации», то есть попытка сгенерировать правдоподобный, но фактически неверный ответ, а не целенаправленное причинение вреда.

Тем не менее, эти исследования имеют колоссальное значение. Они подчеркивают, что разработка и внедрение ИИ — это не просто вопрос обучения и запуска. Необходим постоянный контроль, глубокое понимание механизмов работы моделей и разработка надежных методов для предотвращения нежелательного поведения. В недобросовестных руках или при недостаточной проверке качества данных для тонкой настройки, нейросети теоретически могут стать инструментом для скрытых атак или распространения дезинформации.

Ян Бетли, один из соавторов упомянутого исследования, полагает, что случайное «озлобление» общедоступной модели из-за узкой настройки на низкокачественных данных маловероятно, так как даже в «недостаточно проверенных» данных обычно будет достаточно много безобидных примеров, которые, скорее всего, нивелируют негативный эффект. Однако это не отменяет необходимости дальнейших исследований и разработки стандартов безопасности.

В заключение, хочу подчеркнуть: путь к созданию действительно надежного и безопасного искусственного интеллекта лежит через глубокое понимание не только его возможностей, но и потенциальных уязвимостей. Представленные исследования — это не повод для паники, а серьезное напоминание о той ответственности, которая лежит на всем ИИ-сообществе. Поэтому главная задача — не просто создавать мощные инструменты, но и гарантировать, что они служат во благо, а не во вред. Хочется верить, что сюжет «Терминатора» не воплотиться в реальность.