Исследователи Купер Дойл, Ребекка Чан, Энди Ху и Анна Леонтьева представили новую работу «Low-rank variational dropout: Rank selection and uncertainty in adapters». Они разработали байесовский фреймворк Low-Rank Variational Dropout (LRVD) и его конкретную реализацию BayesLoRA для эффективной адаптации больших языковых моделей под конкретные задачи.
Ключевое новшество — метод автоматически выбирает эффективный ранг адаптера и оценивает неопределённость прогнозов. Это достигается за счёт спарс-индуцирующего априорного распределения и структурированного вариационного семейства, которые связывают неопределённость на уровне латентных компонент ранга. В результате модель учит «отношение сигнал/шум» для каждого компонента, что позволяет отключать неинформативные.
Проблема, которую решает работа, — классические методы низкоранговой адаптации (LoRA) не дают принципиального механизма для оценки неопределённости или контроля сложности модели. Выбор ранга адаптера часто делается эмпирически, что может приводить к избыточности или недостаточной выразительности. BayesLoRA решает обе проблемы одновременно, добавляя лишь O(r) параметров к стандартному LoRA.
Эксперименты показали, что BayesLoRA формирует устойчивую, не произвольную ранговую структуру, выровненную по собственным направлениям обновлений весов. Метод превосходит существующие подходы к спарсификации низкого ранга по точности при сопоставимых вычислительных затратах и значительно улучшает калибровку прогнозов с минимальными накладными расходами.
