Группа исследователей представила фреймворк NeuroSymBO для динамической настройки инструкций (instruction tuning) при открытии дифференциальных уравнений в частных производных (УЧП) с помощью больших языковых моделей (LLM). Метод, описанный в препринте на arXiv, позволяет адаптивно выбирать оптимальные подсказки на каждом шаге процесса генерации, что значительно повышает точность и эффективность поиска уравнений.
Ключевая проблема, которую решает NeuroSymBO, — «хрупкость инструкций» (instruction brittleness), когда результат работы LLM сильно зависит от формулировки запроса. Фреймворк рассматривает инженерию промптов как задачу последовательного принятия решений. Он использует байесовскую оптимизацию для выбора наилучшей инструкции из дискретной библиотеки стратегий рассуждения на каждом шаге, основываясь на численной обратной связи от предыдущих действий модели.
Открытие управляющих уравнений по данным — фундаментальная задача в науке. Традиционные методы часто требуют экспертных знаний и могут заходить в тупик. LLM предлагают новый подход, но их статические промпты не адаптируются к меняющемуся состоянию многошагового процесса, что ведет к субоптимальным решениям. NeuroSymBO делает этот процесс адаптивным и управляемым.
Эксперименты на стандартных тестах по открытию УЧП показали, что адаптивный выбор инструкций существенно превосходит фиксированные промпты. Метод достигает более высоких показателей восстановления правильных уравнений и находит более простые (парсимоничные) решения. Это важный шаг к созданию более надежных и автономных ИИ-систем для научного открытия.
