Anthropic призывает приостановить развитие ИИ из-за слишком быстрого прогресса

Компания Anthropic, разработчик Claude, призвала ведущие ИИ-лаборатории заранее договориться о координированной и контролируемой паузе в разработке самых мощных ИИ-систем. Компания предупреждает: технологии развиваются настолько быстро, что в ближайшем будущем общество может не успеть справиться с возникающими рисками.

Anthropic заявила, что способность ИИ самостоятельно выполнять задачи примерно удваивается каждые четыре месяца. В компании считают, что отрасль приближается к сценарию «рекурсивного самосовершенствования» — моменту, когда системы смогут улучшать себя без участия человека. По словам сооснователя Anthropic Джека Кларка и главы Anthropic Institute Марины Фаваро, это не является неизбежным, но может произойти раньше, чем человечество будет готово.

Компания подчёркивает, что односторонняя остановка разработки одной лабораторией мало что изменит: лидерство просто перейдёт к менее осторожному игроку. Поэтому Anthropic предлагает обсуждать паузу между несколькими технологическими лидерами, заранее определить условия её запуска и отмены, а также механизм контроля.

Anthropic Institute планирует в ближайшие месяцы собрать политиков, исследователей, представителей гражданского общества и конкурирующие ИИ-компании для обсуждения таких мер. Маловероятно, что кто-то согласится, ведь основатели Anthropic изначально были отколовшимися сотрудниками OpenAI, опасавшимися быстрого и неосторожного развития ИИ.