Olmo представила гибридную модель на 7 миллиардов параметров. Это базовая архитектура с тремя дообученными версиями. Первая версия уже доступна для изучения.
Модель называется гибридной. Она смешивает два типа нейронных сетей. Это внимание и рекуррентные слои.
Рекуррентные сети сжимают вычисления в скрытое состояние. Это как краткое содержание всего предыдущего текста. Идея старая, но теперь она работает иначе.
Новый подход избегает квадратичных затрат на внимание. Это может решать новые задачи. Теория говорит о большей выразительности.
Olmo Hybrid использует метод Gated DeltaNet. Другие модели применяют Mamba. Выбор основан на тщательных экспериментах.
Исследователи выпустили подробную научную работу. В ней объясняют преимущества гибридов. Автор проекта — Уилл Меррилл.
Гибридные модели могут быть строгим улучшением трансформеров. Они способны выражать то, что не могут отдельные компоненты. Это показано на задачах оценки кода.
Тренд начался в конце 2023 года. Тогда Mamba и Striped Hyena взорвали сообщество. Все спрашивали, нужно ли полное внимание.
Ранние модели не выдержали масштабирования. Реализация была сложной. Инструменты с открытым кодом создавали проблемы.
Сейчас гибриды появляются повсюду. Qwen 3.5, Kimi Linear, Nemotron 3 Nano, IBM Granite 4. Кажется, все одновременно приняли эту идею.
Olmo Hybrid почти идентична прошлой модели Olmo 3. Изменили только архитектуру. Это лучший артефакт для изучения гибридов.
Что дальше? Скоро выйдет reasoning-модель. Исследование будет продолжаться. Будущее архитектур стало интереснее.
