В январе и феврале вышло десять открытых моделей. Каждая предлагает что-то новое.
Список возглавила Arcee AI. Компания выпустила Trinity Large на 400 миллиардов параметров.
За ней последовали Moonshot AI и StepFun. Затем вышли обновления от Qwen и z.AI.
Архитектуры стали сложнее. Появилось больше моделей с Mixture-of-Experts.
Trinity Large использует скользящее окно внимания. Окно составляет 4096 токенов.
Это ускоряет работу с длинными текстами. Снижает вычислительные затраты.
Модель также применяет QK-Norm. Это стабилизирует процесс обучения.
Внимание снабдили элементом гейтирования. Это улучшает обобщение на длинных последовательностях.
Технический отчёт Arcee AI опубликовали на GitHub. Позже он появился на arXiv.
Весна 2026 года задала высокий темп. Открытые модели продолжают развиваться.
