Яндекс выложил в открытый доступ Alice AI Search Pretrain — базовую языковую модель, на которой построены ИИ-ответы в Яндекс Поиске. Модель доступна на Hugging Face по лицензии Apache 2.0. Alice AI Search Pretrain использует архитектуру encoder-decoder и Mixture of Experts. Всего у неё 35 млрд параметров, но при обработке одного токена активируется около 600 млн … Читать далее
Cohere представила North Small Translate — open-weight MoE-модель для машинного перевода на 50+ языках. В ней 218 млрд параметров, из которых одновременно активны 25 млрд. В тесте WMT26 модель набрала 83,6 балла, обойдя DeepL NextGen, Google Translate, GLM 5.2 и Gemma 4 31B. Модель рассчитана не только на качество, но и на скорость: во внутренних … Читать далее
DeepSeek представила V4.1-Flash — новую мультимодальную MoE-модель на 552 млрд параметров. При этом во время работы активны только 8 млрд параметров на входе и 16 млрд на выходе. Компания утверждает, что модель уже обходит V4-Pro по части бенчмарков, а работает быстрее и дешевле. Ещё одно заметное изменение — более компактный KV-кэш: ему нужно в четыре … Читать далее
NVIDIA представила новую модель Nemotron 3 Super. Она содержит 120 миллиардов параметров. Модель создана для автономных агентов.
Большие языковые модели стали слишком дорогими. Новая архитектура MoE решает эту проблему. Она заставляет модель выбирать экспертов для каждого слова.
NVIDIA представила Nemotron 3 Ultra — крупнейшую и самую сильную модель семейства Nemotron 3. Она содержит 550 млрд параметров, из которых активны 55 млрд. Модель построена на гибридной MoE-архитектуре Mamba-Attention, поддерживает контекст до 1 млн токенов и позволяет управлять reasoning-бюджетом во время inference. NVIDIA также добавила MTP-слои для ускорения через native speculative decoding. По данным … Читать далее
После успеха DeepSeek китайские разработчики ИИ пошли другим путём. Они выбрали архитектуру Mixture of Experts и сделали ставку на малые модели.
Научная статья о новой архитектуре L-MoE, объединяющей смесь экспертов (MoE) и низкоранговую адаптацию (LoRA), была отозвана авторами после обнаружения ошибки в математической формулировке.