Mamba

NVIDIA представила Nemotron 3 Ultra — крупнейшую и самую сильную модель семейства Nemotron 3. Она содержит 550 млрд параметров, из которых активны 55 млрд. Модель построена на гибридной MoE-архитектуре Mamba-Attention, поддерживает контекст до 1 млн токенов и позволяет управлять reasoning-бюджетом во время inference. NVIDIA также добавила MTP-слои для ускорения через native speculative decoding. По данным … Читать далее