Новые модели ИИ-ассистентов для написания кода, такие как GitHub Copilot и аналоги, стали чаще допускать скрытые, но критические ошибки. К такому выводу пришёл Джейми Твисс, банкир и специалист по данным, в статье для IEEE Spectrum. Проблема заключается в том, что более свежие версии моделей генерируют код, который выглядит корректно, но содержит фатальные изъяны, проявляющиеся только в работе.
Ключевая деталь — рост числа «тихих» сбоев. ИИ предлагает код с логическими ошибками, уязвимостями безопасности или неверными алгоритмами, которые не всегда очевидны при беглом просмотре. Это особенно опасно для новичков, которые полагаются на помощников без глубокой проверки результата. Твисс отмечает, что стремление к большей креативности и сложности ответов у новых моделей привело к снижению надёжности.
Контекст важен, потому что такие ассистенты массово используются разработчиками для ускорения работы. Они встроены в популярные среды разработки. Рост скрытых ошибок напрямую угрожает стабильности и безопасности программного обеспечения, созданного с их помощью. Это ставит под вопрос безоговорочное доверие к автоматически сгенерированному коду.
Вывод: индустрии требуется больше внимания к тестированию и валидации ИИ-моделей для кодогенерации. Разработчикам необходимо критически проверять предложенный код, а не принимать его как данность. Качество и надёжность должны быть приоритетнее скорости и объёма генерации.
