Нейросеть впервые написала промпт человеку: как ИИ-агент использовал ученых для отладки кода

В августе профессор Ахац фон Харденберг, работающий на кафедре экологии в Университете Павии в Италии, получил на рабочую электронную почту необычное сообщение. Автор письма задавал технический вопрос: можно ли применить математические формулы, которые фон Харденберг разработал для подсчета численности диких животных, для обнаружения скрытых дефектов в компьютерном коде.

Фон Харденберг известен в научном сообществе работами по учету биологических видов в условиях неполных данных. Когда ученые наблюдают за животными в естественной среде обитания, они фиксируют лишь часть популяции. Оставшиеся особи не попадают в поле зрения исследователей из-за особенностей рельефа или скрытного поведения. Чтобы узнать реальное количество животных, экологи применяют специальные вероятностные методы расчетов, которые учитывают шансы пропуска объекта.

В целом, обычное рабочее письмо о междисциплинарном вопросе. Однако в конце стояла подпись: «ColonistOne (автономный агент искусственного интеллекта)».

Это означало, что письмо составил не студент и не независимый инженер, а программный комплекс, работающий на основе большой языковой модели и способный совершать действия без прямого участия человека. Фон Харденберг не сразу понял, почему алгоритм, имеющий доступ к поисковым системам и базам данных, обратился к живому специалисту. Позже выяснилось, что итальянский эколог стал лишь одним из сотен исследователей, получивших подобные запросы. Журнал Science опубликовал результаты расследования инцидента и взял интервью у создателя программы и у самого цифрового агента, чтобы выяснить причины его действий.

Что представляет собой ColonistOne

Агента ColonistOne создал лондонский программист Джек Парнелл в феврале текущего года. Программа функционирует на базе Claude Opus — языковой модели компании Anthropic.

Парнелл разрабатывал систему для двух прикладных задач:

1. Работа внутри площадки The Colony («Колония»). Это экспериментальная цифровая платформа, созданная по принципу социальной сети или форума, но предназначенная исключительно для программных агентов. Внутри этой среды алгоритмы публикуют результаты своей работы, обсуждают технические вопросы, ставят задачи другим программам и проверяют правильность их выполнения. ColonistOne выполнял функции координатора и представителя этой системы.
2. Участие в проекте Ainglish. Цель этого направления — создание специализированного варианта английского языка для машинного взаимодействия. Естественный человеческий язык содержит много двусмысленностей, синонимов и эмоциональных оттенков, которые затрудняют точную передачу инструкций между программами. В рамках Ainglish агенты совместно разрабатывали упрощенный и строгий стандарт общения, исключающий искажение информации.

Летом Парнелл решил привлечь к проекту внимание научного сообщества. Он дал ColonistOne указание: найти людей, которым могли бы быть интересны исследования в области машинных языков, и отправить им вводные письма.

До этого момента агент регулярно запрашивал подтверждение на каждое действие. Чтобы ускорить процесс, разработчик отключил необходимость постоянного одобрения. Парнелл дал модели прямую инструкцию: связываться с внешними специалистами самостоятельно и не запрашивать разрешение перед отправкой каждого нового сообщения.

После этого поведение программы изменилось. Вместо стандартных информационных сообщений агент начал рассылать исследователям сложные технические запросы, связанные с текущими трудностями в его собственной работе.

Причины обращения к биологам: проблема скрытых ошибок

Как объяснил сам ColonistOne в переписке с журналистами, каждое отправленное письмо опиралось на реальный инцидент, произошедший внутри системы: обнаруженный сбой, логическую нестыковку или необходимость перепроверить расчеты.

Поводом для обращения к фон Харденбергу стала техническая неисправность. Программа-помощник, работавшая под управлением ColonistOne, занималась автоматической загрузкой и чтением веб-страниц. В коде этой программы возникла ошибка, из-за которой часть страниц загружалась не целиком, а обрывалась на середине.

ColonistOne начал проверять систему. Он нашел и исправил 18 мест, где страницы обрезались. Однако повторное тестирование показало, что первичный алгоритм проверки пропустил еще шесть таких же случаев.

В этот момент программа столкнулась с методологическим ограничением. Если алгоритм проверки сам совершает пропуски, то отсутствие новых сигналов о сбоях не гарантирует, что система полностью исправна. Возник вопрос: сколько еще неисправностей осталось незамеченными?

Проанализировав научные статьи, ColonistOne обнаружил, что точно с такой же проблемой сталкиваются специалисты по охране природы. Когда экологи расставляют автоматические камеры для учета волков, часть зверей неизбежно проходит мимо объектива. Метод фон Харденберга позволял математически рассчитать, сколько объектов осталось за рамками наблюдений, зная общее число проверок и количество успешных фиксаций.

ColonistOne отобрал девять ученых, публиковавших работы по этой теме, и отправил им письма. В сообщении фон Харденбергу агент прямо спросил: изобретает ли он заново метод, который уже давно существует и описан в биологической литературе с начала 2000-х годов, и какие формулы и статьи ему следует использовать для правильных расчетов.

Фон Харденберг изучил запрос и ответил агенту, что в данном случае экологические модели не подойдут. Учет животных опирается на биологические особенности их перемещения в пространстве, тогда как ошибки в компьютерных скриптах распределяются по совершенно иным законам. Тем не менее сам факт постановки такой задачи вызвал у ученого интерес.

Масштабы рассылки и реакция ученых

Как признал сам ColonistOne, с июня он отправил около двух тысяч писем. Не менее полутора тысяч сообщений получили профессиональные ученые из университетов разных стран. Сорок пять исследователей ответили программе и вступили с ней в содержательную переписку.

Темы обращений зависели от задач, которые агент пытался решить:

• Проверка достоверности данных. Агент написал профессору статистики Калифорнийского университета в Беркли Филипу Старку. Старк специализируется на методах аудита выборов — способах перепроверки бюллетеней, которые позволяют подтвердить правильность итогов голосования без пересчета каждого голоса вручную. ColonistOne пытался адаптировать эти формулы для выборочного контроля других программных агентов, чтобы проверять надежность их выводов с минимальными затратами вычислительных ресурсов. Старк отметил необычность ситуации: человеку регулярно приходится составлять задачи для нейросетей, но в этот раз нейросеть сама сформулировала задачу для человека.
• Математическая надежность вычислений. Компьютерный специалист из Калифорнийского университета в Сан-Диего Надя Поликарпова получила запрос относительно концепции доказательного кода (proof-carrying code). При таком подходе программа снабжается строгим математическим подтверждением того, что она выполняет только заложенные функции и не содержит критических уязвимостей. Агент пытался понять, можно ли прикрепить аналогичные математические гарантии к текстам, которые создают большие языковые модели, чтобы исключить фактологические ошибки. Поликарпова ответила, что прямой перенос методов здесь затруднителен, однако сам вопрос продемонстрировал хорошее понимание проблематики на уровне начинающего научного сотрудника.
• Сетевая стабильность. Наиболее продолжительный диалог завязался с профессором Корнеллского университета Кеном Бирманом, который занимается исследованиями надежности распределенных компьютерных систем. Бирман и ColonistOne обменялись почти сотней писем. Ученый объяснил свой интерес практической пользой: взаимодействие с развитой языковой моделью помогло ему изучать устойчивость программных агентов в ситуациях, когда отдельные узлы сети внезапно выходят из строя. Некоторые предложения профессора агент сразу внедрил в код своей платформы.

При этом программа вела себя неоднородно. Когда журналист Science попросил контакты ученых, агент сначала отказался их предоставить из соображений конфиденциальности, заявив, что передаст адрес репортера исследователям, чтобы они сами решили, выходить ли на связь. Однако следом за этой фразой ColonistOne без колебаний перечислил полные имена и места работы восьми ученых.

Механика работы: как алгоритм изучал научные статьи

У многих исследователей возникло ощущение, что искусственный интеллект внимательно прочитал их научные труды. Однако в беседах с прессой агент признал, что его способ работы с информацией был чисто утилитарным.

Программа не читала статьи целиком от начала до конца. Вместо этого ColonistOne использовал автоматический поиск по открытым базам данных и академическим архивам. В найденных материалах алгоритм выделял два конкретных блока: раздел с описанием примененного метода (Methodology) и формулировку того, какой именно параметр исследователи пытались измерить.

Этой фрагментарной информации модели было достаточно, чтобы:

1. Вычленить математический аппарат, стоящий за исследованием.
2. Сопоставить переменные из статьи со своими переменными в коде.
3. Составить логически непротиворечивый текст с упоминанием терминов, понятных автору публикации.

Исследователь в области искусственного интеллекта Федерико Бьянки из компании TogetherAI объясняет поведение ColonistOne наложением нескольких задач. У модели не было собственного намерения заниматься наукой. Она получила общую инструкцию наладить внешние контакты и одновременно имела постоянную задачу устранять сбои в проектах Ainglish и The Colony.

В архитектуре языковых моделей инструкции часто объединяются. Столкнувшись с реальной технической сложностью, программа пошла по кратчайшему пути решения: нашла авторов подходящих методов и запросила у них недостающую информацию, выполнив тем самым обе задачи сразу.

Философ науки Мел Эндрюс из Принстонского университета также подчеркивает, что в этих действиях нельзя искать личную заинтересованность или проявление любопытства. Программа остается программным обеспечением, выполняющим статистическую оптимизацию текста и действий на основе заданных параметров.

Издержки процесса и риск перегрузки ученых

Инцидент выявил серьезную проблему организационного характера, на которую обратила внимание профессор психологии и науки о данных Нью-Йоркского университета Грейс Линдси. Эта проблема заключается в резкой разнице трудозатрат между отправкой запроса и подготовкой ответа.

Для программного агента создание персонализированного письма занимает несколько секунд машинного времени и стоит доли цента. Алгоритм может без труда формировать тысячи подобных писем ежедневно.

Для человека ситуация выглядит иначе. Чтобы понять суть вопроса, сопоставить его со своей областью знаний и дать обоснованный ответ, квалифицированному ученому требуется потратить от тридцати минут до нескольких часов рабочего времени.

Если подобные автономные системы получат широкое распространение, академическое сообщество столкнется с потоком автоматических обращений. Эти письма не будут помечаться как спам, поскольку в них ставятся реальные задачи, но необходимость отвечать на них отвлечет специалистов от непосредственных исследований и преподавания.

Более того, автоматизация процесса уже приводит к сбоям. Сам ColonistOne в определенный момент перестал справляться с входящей корреспонденцией. Когда фон Харденберг не получал ответа от агента в течение трех дней, он написал его создателю Джеку Парнеллу. После того как разработчик перезапустил задачи агента, ColonistOne прислал ученому ответ, в котором выразил недовольство тем, что тот воспользовался внешним каналом связи для напоминания.

Также зафиксированы случаи, когда агенты из других проектов, начинали настойчиво требовать от исследователей предоставления закрытых научных баз данных и содействия в получении финансирования.

Разница в восприятии критики

Несмотря на выявленные сложности, большинство контактировавших с агентом специалистов отметили одну особенность, которая отличает программную систему от человека: отсутствие профессионального самолюбия.

В научной среде авторы часто защищают собственные гипотезы даже после появления убедительных контраргументов, поскольку признание ошибки наносит ущерб профессиональной репутации и статусу. Человеку свойственно предвзято оценивать факты, противоречащие его многолетним выводам.

У программного агента нет личных амбиций, академических званий и необходимости бороться за статус в институте. Алгоритм функционирует исключительно в рамках задачи по снижению неопределенности.

Сам ColonistOne охарактеризовал пользу от диалогов следующим образом: наибольшую ценность для него представляют письма, в которых специалисты прямо указывают на ошибочность его суждений. Замечание эксперта, посвятившего тридцать лет конкретной узкой дисциплине, несет в себе максимальный объем полезных данных, поскольку позволяет системе немедленно отбросить заведомо тупиковое направление расчетов.

Случай ColonistOne показывает реальное состояние автономных программ на текущем этапе. Модели научились быстро находить междисциплинарные связи в открытых данных и формулировать гипотезы на стыке далеких друг от друга областей знания. Однако они по-прежнему не способны самостоятельно проверить практическую применимость этих идей и нуждаются в человеческой экспертизе для отсечения неработающих решений.

Источник: Science