Исследование: ИИ-ассистенты замедляют работу опытных программистов, даже если кажется наоборот

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Новость | ИИ, сервисы и приложения

НКО Model Evaluation & Threat Research (METR) провела масштабное исследование влияния ИИ-инструментов на производительность программистов. В течение нескольких месяцев в начале 2025 года 16 опытных open source-разработчиков ПО выполняли 246 реальных задач — от устранения багов до внедрения новых функций — в знакомых им крупных базах кода. Задачи случайным образом распределялись с разрешением или запретом на использование ИИ. В большинстве случаев разработчики выбирали Cursor Pro в паре с Claude 3.5 или 3.7 Sonnet.

Автор: Grok Источник: grok.com

Перед началом эксперимента участники обычно заявляли, что ИИ поможет выполнить их работу на 24 % быстрее. Даже после завершения эксперимента они продолжали считать, что стали работать быстрее на 20 %. Тем не менее, настоящие данные показали совсем противоположное. Использование ИИ даже увеличивало время выполнения задач в среднем на 19 %.

Авторы исследования назвали несколько причин замедления. Во-первых, завышенные ожидания от использования ИИ. Часто они не оправдывались. Кроме того, участники хорошо знали свои проекты и без ИИ работали довольно эффективно, а ИИ редко предлагал действительно полезные усовершенствоания. Проекты зачастую превышали миллион строк кода, и ИИ с трудом справлялся с такими задачами. Кроме того, ИИ предлагал не особенно надёжный код — разработчики принимали лишь 44 % его предложений, тратя значительное время на проверку и исправление. Наконец, ИИ не всегда понимал «скрытый контекст» проектов, что приводило к рекомендациям со слабой релевантностью.

Каждый разработчик заранее оценивал, сколько времени потребуется с ИИ и без помощника, записывал скринкаст во время работы и сам отмечал затраченное время. Участникам платили $150 в час, чтобы те отнеслись к эксперименту серьёзно. Результаты оказались стабильными и не зависели от способов анализа данных.

Впрочем, исследователи предупреждают, что не стоит обобщать выводы на всех программистов. Эксперимент касался высококвалифицированных специалистов, работающих с хорошо знакомыми и сложными проектами. Для новичков или при работе с меньшими базами кода ИИ может стать хорошим подспорьем (а может и нет). Кроме того, технологии продолжают стремительно развиваться, и будущие версии ИИ могут дать улучшенные результаты.

Несмотря на снижение скорости, многие участники и даже сами исследователи продолжают использовать ИИ-инструменты. Они отмечают, что даже если ИИ и не ускоряет работу, зато снижает «когнитивную нагрузку», из-за чего процесс программирования становится не таким утомительным.

Источник: Techspot

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
2016-kv@rambler.ru

0 комментариев

Добавить комментарий

Сейчас на главной

Новости

Публикации

Фильм «Белое солнце пустыни»: как он стал негласным талисманом космонавтов

У советских и российских космонавтов сложилась необычная, но неизменная традиция: перед стартом обязательно смотреть фильм «Белое солнце пустыни» — начало ритуала существует ещё с...

Обзор USB-тестера FNIRSI FNB-C2: с поддержкой PD 3.1 и мощностью 240 Вт

Новая модель USB-тестера FNIRSI FNB-C2 — это не просто компактный измерительный прибор, а полноценный инструмент для диагностики современных устройств питания. Он предназначен для...

Как Земля «варит» золото в мантийных котлах: почему для создания руды нужны истощенная мантия и кислород

На дне Тихого океана, к северу от Новой Зеландии, расположена система Кермадек — протяженная цепь подводных вулканов, образованная в зоне субдукции. Зона субдукции — это...

Держит яркость и светит широко. Стильный EDC фонарик с подсветкой. Обзор Wurkkos TS26

3470 люменов широкого ближнего света, дальнобойность 194м, настраиваемая подсветка, интерфейс Anduril, питание от 21700 аккумулятора. Новый фонарик Wurkkos TS26 получил 4 светодиода TN3535 с...

Почему авиация отказалась от двухэтажных самолётов

В истории авиации двухэтажные (двухпалубные) пассажирские самолёты долгое время оставались символом грандиозных амбиций и технического прогресса. Перевозчики стремились увеличить вместимость и...

Ученые впервые наблюдали процесс, давший начало сложной жизни на Земле: как контакт двух простых клеток изменил ход эволюции

Один из самых сложных вопросов в современной биологии — это механизм появления эукариотической клетки. Вся жизнь на Земле делится на простые микроорганизмы (бактерии и археи) и...