Авторы Шихао Цзи и Цзыхуэй Сун отозвали свою статью «L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts» с репозитория arXiv. Причиной стала обнаруженная техническая ошибка в математическом описании дифференцируемого механизма маршрутизации. Статья была представлена в октябре 2025 года, а отозвана 7 января 2026.
Предложенная архитектура L-MoE представляла собой попытку объединить два популярных подхода: смесь экспертов (MoE) для масштабирования и низкоранговую адаптацию (LoRA) для эффективной тонкой настройки. Вместо плотных сетей эксперты в L-MoE должны были стать набором специализированных низкоранговых адаптеров. Легковесная управляющая сеть обучалась совместно с экспертами для динамического комбинирования их параметров.
Объединение MoE и LoRA рассматривается как перспективный путь к созданию более эффективных и специализированных языковых моделей. MoE позволяет увеличивать число параметров модели, не повышая вычислительные затраты на инференс, активируя для каждого входного токена лишь разреженное подмножество «экспертов». LoRA, в свою очередь, является стандартом для параметрически эффективной дообучения больших моделей под конкретные задачи.
Отзыв статьи подчеркивает важность проверки математической корректности в исследованиях ИИ. Авторы заявили, что хотят исправить формулировки и перепроверить теоретические доказательства, прежде чем работа будет представлена снова. Это стандартная практика для поддержания целостности научного процесса.
