Исследование: ИИ-ассистенты замедляют работу опытных программистов, даже если кажется наоборот

НКО Model Evaluation & Threat Research (METR) провела масштабное исследование влияния ИИ-инструментов на производительность программистов. В течение нескольких месяцев в начале 2025 года 16 опытных open source-разработчиков ПО выполняли 246 реальных задач — от устранения багов до внедрения новых функций — в знакомых им крупных базах кода. Задачи случайным образом распределялись с разрешением или запретом на использование ИИ. В большинстве случаев разработчики выбирали Cursor Pro в паре с Claude 3.5 или 3.7 Sonnet.

Перед началом эксперимента участники обычно заявляли, что ИИ поможет выполнить их работу на 24 % быстрее. Даже после завершения эксперимента они продолжали считать, что стали работать быстрее на 20 %. Тем не менее, настоящие данные показали совсем противоположное. Использование ИИ даже увеличивало время выполнения задач в среднем на 19 %.

Авторы исследования назвали несколько причин замедления. Во-первых, завышенные ожидания от использования ИИ. Часто они не оправдывались. Кроме того, участники хорошо знали свои проекты и без ИИ работали довольно эффективно, а ИИ редко предлагал действительно полезные усовершенствоания. Проекты зачастую превышали миллион строк кода, и ИИ с трудом справлялся с такими задачами. Кроме того, ИИ предлагал не особенно надёжный код — разработчики принимали лишь 44 % его предложений, тратя значительное время на проверку и исправление. Наконец, ИИ не всегда понимал «скрытый контекст» проектов, что приводило к рекомендациям со слабой релевантностью.

Каждый разработчик заранее оценивал, сколько времени потребуется с ИИ и без помощника, записывал скринкаст во время работы и сам отмечал затраченное время. Участникам платили $150 в час, чтобы те отнеслись к эксперименту серьёзно. Результаты оказались стабильными и не зависели от способов анализа данных.

Впрочем, исследователи предупреждают, что не стоит обобщать выводы на всех программистов. Эксперимент касался высококвалифицированных специалистов, работающих с хорошо знакомыми и сложными проектами. Для новичков или при работе с меньшими базами кода ИИ может стать хорошим подспорьем (а может и нет). Кроме того, технологии продолжают стремительно развиваться, и будущие версии ИИ могут дать улучшенные результаты.

Несмотря на снижение скорости, многие участники и даже сами исследователи продолжают использовать ИИ-инструменты. Они отмечают, что даже если ИИ и не ускоряет работу, зато снижает «когнитивную нагрузку», из-за чего процесс программирования становится не таким утомительным.

Источник: Techspot