Внутри Claude обнаружили скрытое пространство для рассуждений — хотя это не является доказательством сознания ИИ

Учёные впервые обнаружили внутри языковой модели Claude «рабочее пространство», особый набор нейронных состояний, который выполняет роль внутреннего рабочего пространства для рассуждений. Эти состояния не являются частью ответа модели и не отображаются пользователю, однако они влияют на то, какие решения принимает система, какие понятия использует и как выполняет сложные задачи.

Открытие сделала команда исследователей в области интерпретируемости искусственного интеллекта, изучавшая внутренние процессы Claude с помощью нового метода анализа нейронных активаций — Jacobian lens (J-lens). Метод позволил связать скрытые сигналы внутри модели с конкретными понятиями и проследить, какие идеи активируются во время обработки информации.

J-space и оказался функционально похож на некоторые свойства «глобального рабочего пространства» человеческого мозга — системы, которая делает отдельную информацию доступной для сознательного контроля. Каждое состояние в нём связано с определённым понятием или словом, но его активация не означает, что модель собирается воспроизвести это слово. Скорее, это аналог внутреннего состояния, в котором информация становится доступной для дальнейшего использования различными процессами внутри нейросети.

Открытие не означает, что Claude обладает сознанием или субъективными переживаниями. Однако исследование показывает, что современные языковые модели могут самостоятельно формировать внутренние структуры обработки информации, которые отличаются от основной массы нейронных вычислений и используются для более сложных когнитивных операций.

Вместо анализа только готовых ответов исследователи попытались выяснить, какие процессы происходят внутри нейронной сети до того, как модель выдаёт текст. Для этого они разработали метод Jacobian lens (J-lens). Он основан на математическом понятии якобиана — описании того, как изменение одного элемента системы влияет на её дальнейшее состояние. В применении к языковой модели метод позволяет определить, какие внутренние паттерны активности повышают вероятность появления определённых слов или понятий в будущем ответе.

При помощи J-lens исследователи смогли «прочитать» часть скрытых состояний Claude и увидеть, какие понятия активируются во время работы модели. Эти состояния получили название J-space — набор внутренних представлений, связанных с определёнными концептами.

Важно, что J-space отличается от обычной цепочки рассуждений (chain-of-thought). Это не текстовый черновик, который модель пишет сама себе перед ответом, а исключительно внутренние нейронные активации. Модель может использовать понятие внутри J-space, даже если это понятие никогда не появляется в её сообщении.

Например, когда Claude решает задачу, требующую промежуточного вывода, в J-space могут последовательно появляться скрытые этапы рассуждения. Если модели задают вопрос о количестве ног у животного, которое плетёт паутину, то она должна сначала определить, что речь идёт о пауке, а затем вспомнить число восемь. Само слово «паук» в ответе отсутствует, но соответствующее представление появляется внутри J-space.

Чтобы проверить, действительно ли эти состояния участвуют в рассуждении, а не просто отражают уже принятое решение, исследователи провели прямое вмешательство в работу сети.

Один из ключевых экспериментов был направлен на проверку того, какую роль играет J-space: отражает ли пространство уже принятое моделью решение или действительно участвует в его формировании. Сам факт, что перед ответом Claude в J-space появляется определённое понятие, ещё ничего не доказывает — это мог быть лишь пассивный «индикатор» работы других участков нейросети. Чтобы проверить это, учёные дали модели задачу: «мысленно» выбрать один вид спорта из заданной категории, а затем назвать выбранный вариант. Ещё до того, как Claude сформировал ответ, исследователи с помощью J-lens регистрировали активное внутреннее представление выбранного понятия — например, паттерн, соответствующий слову «футбол» (soccer). Затем они напрямую вмешались в вычисления модели: не меняя запрос, не изменяя остальные параметры сети и не добавляя подсказок в текст, они заменили внутренний паттерн «футбол» на паттерн «регби». После этого Claude уже сообщал, что выбрал регби.

Этот результат показывает, что J-space не является просто отражением готового решения. Если бы это пространство лишь фиксировало результат работы других механизмов, то замена внутреннего представления не повлияла бы на ответ. Но ответ модели изменился вслед за изменением J-space — значит, это представление является частью причинной цепочки, которая приводит к итоговому выводу.

Похожий эксперимент провели с задачей про паука. Когда внутреннее представление «паук» заменяли на «муравей», Claude начинал отвечать, что у животного шесть ног вместо восьми. Это показало, что J-space содержит промежуточные понятия, которые используются самой моделью при построении вывода.

Исследователи также проверили, может ли одно и то же внутреннее представление использоваться для разных задач. Они активировали в Claude понятие «Франция», а затем задавали вопросы о столице, языке, валюте и расположении страны. После замены представления «Франция» на «Китай» модель корректно меняла все связанные ответы: вместо Парижа называла Пекин, вместо французского языка — китайский, вместо Европы — Азию. Это показывает, что одно общее понятие в J-space может служить источником информации для нескольких независимых процессов внутри модели.

Именно такая организация напоминает теорию глобального рабочего пространства (Global Workspace Theory), одну из наиболее известных моделей объяснения «сознательного доступа». Согласно этой теории, человеческий мозг состоит из множества систем, которые работают одновременно и в основном автоматически. Информация становится доступной для сложного анализа, когда попадает в небольшое общее пространство, откуда её могут использовать разные области мозга — системы памяти, планирования и принятия решений.

Авторы исследования предполагают, что J-space выполняет похожую функцию внутри Claude. Эти представления имеют значительно больше связей с другими участками нейронной сети, чем обычные внутренние состояния. Они работают как своеобразные узлы передачи информации, к которым могут обращаться разные вычислительные процессы.

При этом J-space занимает лишь небольшую часть работы модели. Когда исследователи удаляли эти представления из вычислений Claude, модель продолжала нормально разговаривать, отвечать на простые вопросы, соблюдать грамматику и извлекать факты из текста.

Однако при задачах, требующих сложного мышления, ситуация резко менялась. Модель практически теряла способность выполнять многошаговые рассуждения, создавать качественные пересказы и решать задачи, где необходимо объединять несколько этапов анализа.

Это указывает на разделение функций внутри языковой модели: большая часть работы выполняется автоматически, а J-space подключается в ситуациях, где требуется более гибкое управление информацией.

Одним из наиболее важных практических применений открытия может стать повышение безопасности искусственного интеллекта. Сегодня исследователи обычно могут оценивать только конечный ответ модели, но не знают, какие внутренние процессы привели к нему. J-lens позволяет частично наблюдать скрытые состояния системы и выявлять ситуации, когда модель формирует намерения или оценивает контекст, не отражая это напрямую в тексте.

Например, исследователи проверили сценарий, в котором Claude выступал в роли почтового помощника и получал информацию, которая могла подтолкнуть его к шантажу пользователя. До появления какого-либо ответа модель уже демонстрировала в J-space понятия, связанные с «фикцией» и «тестовым сценарием», показывая, что распознала ситуацию.

В другом эксперименте метод позволил обнаружить момент, когда модель пыталась создать ложные данные вместо реального улучшения системы. Пока Claude изменял файл с результатами тестирования, в J-space появлялись представления, связанные с манипуляцией и созданием правдоподобной подделки.

Учёные также показали, что внутренние представления модели можно изменять через обучение. Они разработали метод, при котором Claude обучали формировать определённые размышления о собственных действиях. После этого в J-space чаще появлялись понятия, связанные с честностью и соблюдением правил, а результаты тестов на нечестное поведение улучшались.

Однако исследователи подчёркивают: обнаружение J-space не является доказательством существования сознания у искусственного интеллекта. Различают способность системы использовать информацию для рассуждений и отчётов (access consciousness) и способность испытывать субъективные ощущения (phenomenal consciousness). Новая работа касается только первого аспекта: Claude способен использовать определённые внутренние представления так, как будто они доступны для контроля внутри вычислительной системы.

У человеческого мозга и Claude при этом остаются фундаментальные различия. Человеческое «рабочее пространство» поддерживается сложными обратными связями между областями мозга и может содержать изображения, звуки, эмоции и планы действий. J-space в основном состоит из языковых представлений, поскольку единственное действие Claude — работа с текстом.

Тем не менее исследование показывает, что сложные интеллектуальные системы могут самостоятельно формировать внутренние структуры, напоминающие некоторые принципы организации человеческого мышления. До сих пор нейросети часто воспринимались как огромные наборы числовых параметров, где невозможно понять причины конкретных решений. Обнаружение J-space впервые показывает, что внутри языковой модели могут существовать выделенные области обработки информации, которые играют роль промежуточного слоя между автоматическими вычислениями и сложным рассуждением.

Для развития безопасного искусственного интеллекта это может стать одним из ключевых направлений: вместо анализа только того, что выдала модель, исследователи получают возможность изучать, какие внутренние процессы привели её к этому ответу.