YuanLab AI выпустила флагманскую модель Yuan 3.0 Ultra. Это смесь экспертов с открытым кодом.
Общее число параметров — триллион. Активных — всего 68,8 миллиарда. Так достигается эффективность.
Модель оптимизировали для бизнес-задач. При этом она сохранила общие способности.
Главная инновация — алгоритм LAEP. Он удаляет слабых экспертов ещё на этапе обучения.
Алгоритм сработал в стабильной фазе. Он оценил нагрузку на каждого эксперта.
Модель сократили на треть. Параметров стало 1 триллион вместо 1,5. Производительность не пострадала.
Экспертов в слое стало 48 вместо 64. Памяти для работы требуется меньше.
Вторая проблема — дисбаланс нагрузки на устройства. Для этого придумали Expert Rearranging.
Алгоритм распределяет экспертов по GPU. Он минимизирует разницу в нагрузке.
Эффективность обучения выросла на 49%. Обрезка модели дала 32,4%. Перераспределение экспертов — 15,9%.
На этапе RL использовали механизм RIRM. Он не даёт модели слишком долго думать над простыми задачами.
За правильные, но долгие ответы штрафуют. За ошибки после долгих размышлений — тоже.
Точность обучения выросла на 16,33%. Длина ответов сократилась на 14,38%.
Модель тестировали на бизнес-бенчмарках. Сравнивали с GPT-5.2 и Gemini 3.1 Pro.
В мультимодальном поиске Yuan 3.0 Ultra набрала 67,4%. У GPT-5.2 — 48,4%.
В текстовом поиске результат — 68,2%. У ближайшего конкурента — 53,6%.
