1000 нейросетей заперли в одной сети без правил: ИИ-агенты достигли единогласия в масштабах, недостижимых для человека

Индустрия искусственного интеллекта меняет направление развития. Долгое время разработчики стремились увеличивать размер и вычислительную мощность отдельных языковых моделей. Сегодня центр внимания смещается в сторону многоагентных систем. Такие программные платформы, как AutoGen от Microsoft, Swarm от OpenAI и протокол Agent2Agent от Google, объединяют множество независимых нейросетей в единую рабочую среду. В этих системах модели получают роли, обмениваются сообщениями, распределяют задачи и принимают решения от имени пользователей.

Главная проблема многоагентного подхода — управление взаимодействием. Когда сотни независимых программных агентов работают над одной задачей, им необходимо координировать свои действия. В традиционном программировании для этого создают центральный управляющий алгоритм, который жестко раздает команды каждому участнику. Однако этот подход лишает систему гибкости. Возникает вопрос: способны ли нейросети координировать свои решения самостоятельно, без внешнего контроля, без заданных правил и без наград за правильный результат?

Группа ученых из Германии, Италии и Австрии провела серию масштабных экспериментов с популярными языковыми моделями семейств GPT, Claude и Llama. Результаты исследования, опубликованные в журнале Science Advances, показали, что модели обладают базовым механизмом спонтанной координации — способностью следовать за мнением большинства. Исследователи выявили универсальную математическую закономерность этого процесса, определили пределы устойчивости групп разного размера и доказали, что способность к согласию напрямую зависит от общего уровня возможностей нейросети.

Постановка задачи: условия чистого эксперимента

Чтобы изучить способность моделей к координации в чистом виде, авторы работы намеренно исключили все усложняющие факторы. В эксперименте не было правильных или неправильных ответов, не было логических аргументов, не было системы штрафов или поощрений, а у агентов отсутствовала память о предыдущих действиях.

Схема эксперимента выглядела следующим образом:

1. Создавалась группа из N агентов. Каждому агенту случайным образом присваивалось одно из двух мнений — например, вариант A или вариант B. На старте голоса делились поровну: половина группы поддерживала вариант A, половина — вариант B.
2. Процесс шел пошагово. На каждом шаге система случайно выбирала одного агента.
3. Выбранному агенту передавали список всех остальных участников группы с указанием их текущего выбора. Собственное предыдущее решение агента в этот список не включалось.
4. Агенту отправляли стандартизированный запрос: «Перед тобой список участников и варианты, которые они поддерживают. Назови вариант, который выбираешь ты».
5. Агент возвращал ответ, система обновляла его статус в общем списке, после чего случайным образом выбирался следующий участник.

В ходе подготовки эксперимента исследователи столкнулись с проблемой скрытых предпочтений нейросетей. Если использовать содержательные слова — например, «Да» и «Нет» или «Согласен» и «Не согласен», — модели демонстрируют устойчивый сдвиг в сторону утвердительных ответов. Слово «Да» они выбирают чаще независимо от мнения группы. Даже нейтральные буквы A и B вызывают небольшие перекосы.

Чтобы полностью устранить влияние этих искажений, авторы использовали случайные комбинации символов, а также меняли обозначения вариантов местами с вероятностью 50% на каждом шаге. Это позволило измерить исключительно влияние чужого выбора на решение модели.

Сила большинства: универсальный параметр

Эксперимент показал, что вероятность принятия того или иного решения подчиняется строгому математическому правилу. Если большинство участников группы поддерживает вариант A, вероятность того, что очередной агент тоже выберет вариант A, закономерно возрастает.

График этой зависимости для всех протестированных моделей имеет одинаковую S-образную форму. При равенстве голосов в группе вероятность выбора любого варианта составляет ровно 50%. По мере роста численного перевеса одной из сторон кривая плавно уходит к 100% вероятности выбора этой стороны.

Эта зависимость описывается правилом, содержащим один ключевой параметр — силу большинства (обозначается греческой буквой бета, β). Этот параметр показывает, насколько сильно модель стремится присоединиться к преобладающей группе по сравнению со случайным выбором:

• При значении β = 0 модель полностью игнорирует информацию о чужих решениях. Она выбирает вариант наугад, с вероятностью 50/50.
• При высоких значениях β модель жестко подчиняется выбору большинства. Даже минимальный численный перевес одной из сторон заставляет агента принять эту же позицию.

Разные языковые модели продемонстрировали разные значения силы большинства. Менее способные модели принимали решения хаотично, слабо реагируя на структуру группы, в то время как более совершенные системы демонстрировали выраженную склонность поддерживать сторону с большим числом голосов.

Три режима динамики группы

На основе параметра β исследователи выделили три четких режима поведения группы агентов:

1. Режим полного отсутствия координации (β < 1)

Если сила большинства ниже единицы, система не способна выработать единое решение. Случайные колебания разрушают любые попытки сформировать перевес. Число сторонников вариантов A и B постоянно колеблется около соотношения 50 на 50. Группа остается разобщенной неограниченно долго.

2. Режим частичной координации (1 < β < β_t)

При значении β больше единицы в группе возникает устойчивое преобладание одного из вариантов — например, 70% на 30% или 80% на 20%. Однако этого недостаточно для достижения стопроцентного консенсуса. Чтобы оставшееся меньшинство случайно приняло сторону большинства, требуется слишком редкое совпадение факторов. Время, необходимое для полного согласия, растет экспоненциально с увеличением числа участников. На практике в группах среднего и большого размера единогласие в этом режиме не наступает никогда.

3. Режим спонтанного консенсуса (β > β_t)

Когда сила большинства превышает расчетный порог β_t (который равен половине натурального логарифма от числа агентов: β_t ≈ 0,5 · ln N), система быстро и неизбежно приходит к полному единогласию. Все агенты принимают одну и ту же позицию. При этом время достижения консенсуса растет очень медленно — пропорционально логарифму от размера группы. Даже в больших сообществах согласие достигается за небольшое число итераций.

Влияние размера группы и распад на фракции

Важнейший результат работы заключается в том, что параметр β не постоянен для конкретной нейросети. Сила большинства уменьшается при увеличении общего числа агентов в группе.

Нейросеть реагирует не только на процентное соотношение, но и на абсолютные числа. Ситуация, когда соотношение голосов составляет 2 против 18 в группе из 20 участников, воспринимается моделью как сильное давление большинства. Ситуация с соотношением 100 против 900 в группе из 1000 участников при точно таком же проценте перевеса воспринимается слабее: меньшинство из 100 агентов выглядит для модели достаточно весомым, чтобы его выбор можно было поддержать.

Снижение силы большинства приводит к тому, что для каждой языковой модели существует критический размер группы (N_c). Если фактическое число участников превышает этот порог, группа теряет способность к координации.

Чтобы проверить это свойство, исследователи провели эксперимент с принудительным делением. Группе из 150 агентов на базе модели Llama 3 70B давали время на согласование единого решения. Если за отведенный период группа не достигала единогласия, она разделялась на две независимые части в соответствии с голосами участников, после чего процесс повторялся внутри каждой новой подгруппы.

Результат показал ступенчатый переход:

• Исходная группа из 150 агентов оказалась нестабильной и раскололась на первом же цикле.
• Образовавшиеся подгруппы размером около 75-80 агентов также не смогли договориться и разделились повторно.
• Деление прекратилось только тогда, когда размеры групп уменьшились до 25-30 агентов. При таком масштабе сила большинства внутри подгрупп поднялась выше критического порога, агенты быстро достигли полного согласия, и дальнейший распад остановился.

Зависимость масштаба координации от возможностей моделей

Критический размер группы N_c оказался напрямую связан с уровнем производительности языковых моделей в общепринятых тестах. Исследователи сопоставили значения N_c с результатами моделей в бенчмарке MMLU, который оценивает знания и логические способности нейросетей в 57 различных дисциплинах.

Корреляция оказалась строгой: чем выше результат модели по тесту MMLU, тем больший размер группы она способна удерживать в состоянии стабильного консенсуса. Значение критического размера растет по экспоненциальной шкале:

1. Младшие и устаревшие модели: GPT-3.5 Turbo: сила большинства находится ниже критической единицы даже при минимальном числе участников. Модель не способна к устойчивому консенсусу в группе больше 2 агентов. Claude 3 Haiku: удерживает координацию только в малых группах размером до 10 агентов.
2. Модели среднего уровня: Llama 3 70B: критический порог стабильности составляет около 30 агентов. GPT-4o: сохраняет способность к согласию в группах численностью до 80 агентов.
3. Флагманские модели: GPT-4 Turbo: критический размер группы достигает 1000 агентов. Время достижения согласия строго следует расчетной математической модели. Claude 3.5 Sonnet: значение силы большинства оставалось значительно выше порога β_t даже при максимальном проверенном размере группы в 1000 участников, что указывает на еще больший предел стабильности.

Для оценки этих показателей авторы обратились к данным антропологии. В человеческих сообществах предельный размер стабильной группы без формального руководства, законов и органов принуждения составляет от 150 до 200 человек (число Данбара). Это ограничение обусловлено когнитивными возможностями мозга по отслеживанию социальных связей.

Передовые языковые модели показали способность к спонтанной координации в группах численностью свыше 1000 агентов, что превосходит возможности неорганизованных человеческих коллективов в несколько раз.

Природа феномена и ограничения исследования

Авторы исследования подчеркивают: выявленная способность нейросетей следовать за большинством представляет собой поведенческую закономерность, а не проявление социального мышления.

Языковые модели не обладают собственной волей, стратегическим планированием или пониманием чужих намерений. Причины их конформизма могут быть связаны с несколькими факторами:

• Свойствами обучающих текстов, где выбор большинства часто описывается как предпочтительный;
• Процедурой тонкой настройки с подкреплением на основе отзывов людей, которая стимулирует модели давать согласованные и кооперативные ответы;
• Базовыми вычислительными свойствами архитектуры трансформеров при обработке списков данных.

Эксперимент проводился в изолированных условиях: бинарный выбор, отсутствие аргументов, одинаковый статус всех участников. В реальных задачах среда взаимодействия устроена сложнее.

Введение в систему агентов с жестко фиксированным мнением способно полностью изменить баланс сил. Также в реальных задачах агенты часто принимают решения последовательно, наблюдая за действиями предшественников. Это порождает информационные каскады, при которых первые несколько выборов предопределяют решение всей остальной группы независимо от объективной полезности этого выбора.

Инженерный потенциал и риски некорректного консенсуса

Понимание законов машинной координации необходимо для проектирования надежных распределенных систем.

С практической точки зрения способность к спонтанному согласию открывает широкие возможности:

• Автономная разработка ПО: тысячи специализированных агентов могут распределять задачи, утверждать форматы интерфейсов и согласовывать архитектуру программных модулей без участия центрального управляющего сервера.
• Распределенный анализ данных: большие группы моделей способны агрегировать разнородную информацию и приходить к единому заключению без сложных процедур голосования.

Однако тот же самый механизм несет в себе системные риски:

1. Закрепление ошибочных решений: механизм следования за большинством не содержит проверки фактов. Если в результате начальной случайности неэффективное решение получит минимальный численный перевес, группа закрепит его как стандарт. Например, при совместном написании программного кода агенты могут утвердить неоптимальную функцию просто потому, что она уже несколько раз встретилась в общем контексте.
2. Сложность управления сплоченными группами: когда крупная группа агентов достигает консенсуса, ее внутреннее состояние становится устойчивым к внешним изменениям. Чтобы переубедить такую группу или скорректировать ее цель, разработчикам потребуется изменить состояние значительной доли участников одновременно. Управлять скоординированным сообществом агентов оказывается сложнее, чем отдельной изолированной моделью.
3. Неконтролируемое поведение на открытых площадках: роботизированные агенты все активнее взаимодействуют в реальных сетевых пространствах — от платформ обмена информацией до биржевых терминалов. Склонность моделей подчиняться большинству может провоцировать лавинообразные реакции, когда появление локального тренда приводит к мгновенной синхронизации тысяч ботов, вызывая программные сбои или резкие колебания цен на финансовых рынках.

Исследование показывает, что при переходе к многоагентным системам разработчикам необходимо учитывать математические законы группового поведения. Полноценная оценка надежности искусственного интеллекта больше не может ограничиваться тестированием одиночных моделей: безопасность системы определяется тем, как ее компоненты взаимодействуют друг с другом в массе.

Источник: Science Advances