Alibaba Cloud обновила открытый ландшафт. Команда Qwen выпустила Qwen3.5. Это новое поколение больших языковых моделей.
Самая мощная версия — Qwen3.5-397B-A17B. Это разреженная смесь экспертов. Модель сочетает мощь и эффективность.
Модель содержит 397 миллиардов параметров. Но активирует только 17 миллиардов за один проход. Это главная цифра для разработчиков.
Она даёт интеллект модели на 400 миллиардов. Но работает со скоростью маленькой. Пропускная способность выросла в 8-19 раз.
Архитектура нестандартная. Это гибридный подход. Модель использует Gated Delta Networks и смесь экспертов.
Всего 60 слоёв. Скрытый размер — 4096. Слои сгруппированы по четыре.
Три блока используют Gated DeltaNet и MoE. Один блок — Attention и MoE. Этот паттерн повторяется 15 раз.
Модель обучали на изображениях и тексте одновременно. Это раннее слияние. Обучение шло на триллионах мультимодальных токенов.
Она лучше справляется с визуальными задачами. Может смотреть на скриншот интерфейса. И генерировать точный HTML и CSS код.
Базовая модель держит в памяти 256 тысяч токенов. Версия Plus поддерживает 1 миллион. Это целый код проекта в одном запросе.
Использовали новый асинхронный фреймворк RL. Он сохраняет точность даже в конце длинного документа. Сложные RAG-системы не всегда нужны.
Модель сильна в технических областях. Показывает паритет с закрытыми моделями в кодинге. Использует адаптивное применение инструментов для математики.
