Физики нашли способ предсказать, когда ИИ начнёт давать опасные советы

Физики из Университета Джорджа Вашингтона разработали математическую модель, которая позволяет оценивать, когда языковая модель может перейти от полезных ответов к потенциально опасным. Метод основан на анализе механизма внимания нейросети и учитывает не только содержание запроса, но и последовательность предыдущих вопросов. Исследование опубликовано 8 октября 2026 года в журнале Patterns.

Модель описывает своеобразную точку переключения, после которой ответы ИИ могут резко измениться. В экспериментах исследователи проверили свои прогнозы на семи открытых языковых моделях размером от 124 млн до 12 млрд параметров. Например, GPT-2 могла отвечать на вопросы о вакцинах и причинении вреда приемлемым образом, но результат менялся в зависимости от того, в какой последовательности задавали вопросы. Иногда нежелательный ответ появлялся сразу, а иногда — после серии нормальных ответов.

В основе метода лежит конкуренция между разными вариантами ответа внутри нейросети. Авторы свели часть сложных вычислений механизма внимания к математической формуле, которую можно вывести с помощью обычной векторной математики. Она помогает оценить, насколько близко модель находится к переходу от желательного ответа к нежелательному, и как контекст беседы влияет на этот риск.

Однако считать метод готовой защитой современных чат-ботов пока рано. Исследователи проверяли его на открытых моделях, включая GPT-2, Pythia и OPT, а не на полноценных современных коммерческих ассистентах. Независимый специалист, опрошенный Live Science, также указал, что упрощённая модель не учитывает все механизмы обучения безопасности. Для практического применения потребуются дополнительные испытания на новых моделях и запросах.

Источник: livescience