Исследователи из Стэнфордского университета обнаружили, что программисты, которые пользуются ИИ-помощниками, вроде GitHub Copilot, пишут менее защищённый код, чем те, кто делает всё сам.
Отметим, что ранее подобные исследования проводились в Нью-Йоркском университете, и там результаты были сходными.
Как оказалось, около 40% приложений, созданных с помощью Copilot, содержат в себе уязвимости, хотя речь идёт о потенциальных, а не о выявленных уязвимостях. В исследовании Нью-Йоркского университета рассматривались языки Python, C и Verilog. В Стэнфорде проанализировали код на Python, JavaScript и C. Во втором случае использовали систему Codex, разработанную лабораторией OpenAI.
В исследовании приняли участие 47 человек с разным уровнем — от студентов-бакалавров до специалистов. Как оказалось, в группе с ИИ-помощником безопасные решения реализовывались в 67% случаев, во второй группе, без ИИ, — в 79%.
Из этого делается вывод, что к ИИ-помощникам следует относиться с осторожностью, особенно если сам разработчик неопытен. Но в будущем новые нейросети наверняка смогут улучшить показатели и упростить разработку приложений.
Отметим, что сейчас многие разработчики тестируют возможности нейросети ChatGPT, однако её пока не проверяли на умение писать безопасный код.