Учёные из Apple представили новый метод RoE. Он работает с моделями Mixture-of-Experts. Метод делает их точнее и требует меньше вычислений.
RoE заставляет модель предлагать несколько вариантов ответа для одного слова. Потом алгоритм выбирает лучший. Это похоже на работу ансамбля внутри одной модели.
Метод вносит контролируемую случайность в выбор экспертов. Так модель находит более точные решения. Всё это происходит без изменения её параметров.
Например, модель на 7 миллиардов параметров стала работать как модель на 10,5 миллиардов. При этом вычислений стало на 30% меньше. Экономия ресурсов значительная.
Исследователи оптимизировали кэширование и пакетную обработку. Это снизило нагрузку на память. Скорость работы почти не изменилась.
Работа опубликована в январе 2026 года. Метод открывает новые возможности для старых моделей. Их можно использовать эффективнее.
