NVIDIA выпустила модель Nemotron 3 Super. В ней 120 миллиардов параметров. Модель создана для сложных агентных систем.
Она работает в 7 раз быстрее предыдущего поколения. Точность выросла в два раза. Это большой шаг для разработчиков.
Модель занимает промежуточное положение. Есть лёгкая версия на 30 миллиардов параметров. Позже появится версия на 500 миллиардов.
Архитектура модели гибридная. Она сочетает эффективные слои Mamba и точные слои Transformer. Это экономит память и ускоряет работу.
Модель предсказывает несколько токенов сразу. Это ускоряет сложные рассуждения в три раза. Контекстное окно выросло до миллиона токенов.
Теперь можно загружать целые кодобазы. Модель запоминает длинные диалоги агентов. Это убирает повторные вычисления.
Модель обучали в интерактивных средах. Использовали обучение с подкреплением. Это повысило её интеллект.
Модель хорошо управляет инструментами. Она выбирает из сотен доступных функций. Это важно для реальных действий.
Nemotron 3 Super — это движок для рассуждений. Он планирует и проверяет задачи. Модель работает в системе других моделей.
