Учёные из ETH Zurich провели масштабное исследование. Они протестировали популярные ИИ-агенты для программирования. Результаты оказались неожиданными.
Автоматически сгенерированные файлы снижают успешность на 3%. Они также увеличивают стоимость вычислений на 20%. Даже ручное написание даёт лишь 4% прироста.
ИИ-агенты оказались слишком послушными. Они следуют всем инструкциям без разбора. Лишние указания только мешают работе.
Например, списки директорий не помогают навигации. Агенты хорошо находят файлы самостоятельно. Подробные руководства по стилю тоже бесполезны.
Исследователи предлагают новый подход. Нужно оставлять только самое важное. Файл должен быть коротким и конкретным.
Следует указать стек технологий и цель проекта. Важно описать неочевидные инструменты сборки. Агенты строго следуют этим инструкциям.
Нужно исключить детальные деревья каталогов. Не стоит писать правила форматирования кода. Задачи для конкретных случаев тоже лучше убрать.
Оптимальный размер — менее 300 строк. Профессиональные команды укладываются в 60 строк. Главное — хирургическая точность, а не полнота.
