Группа исследователей представила новый метод непрерывного обучения (Continual Learning, CL) для больших языковых моделей (LLM) под названием FOREVER. Метод, вдохновлённый кривой забывания человека (Эббингауза), призван решить проблему катастрофического забывания — когда модель, обучаясь новой задаче, резко теряет знания о предыдущих. Работа была опубликована на arXiv.org 7 января 2026 года.
Ключевая идея FOREVER — замена стандартного планирования повторения данных, основанного на фиксированном количестве шагов обучения, на «модельное время». Это время измеряется величиной обновлений оптимизатора, что точнее отражает внутренние изменения модели. На основе этого строится расписание повторения данных, имитирующее кривую забывания, и механизм регуляризации, адаптивно контролирующий интенсивность «перепроигрывания» старых данных.
Проблема катастрофического забывания — одно из главных препятствий для создания гибких ИИ-систем, способных накапливать знания, как человек. Существующие методы часто неэффективны или требуют огромных вычислительных ресурсов. FOREVER предлагает более биологически правдоподобный и вычислительно практичный подход, выравнивая процесс обучения с внутренней динамикой модели.
Эксперименты на трёх стандартных наборах данных для CL и моделях размером от 0.6 до 13 миллиардов параметров подтвердили, что FOREVER последовательно и эффективно смягчает катастрофическое забывание. Этот подход открывает путь к созданию более адаптивных и долгоживущих языковых моделей.
