Команда Falcon 5 января 2026 года представила семейство языковых моделей Falcon-H1-Arabic. Это наиболее продвинутые модели для обработки арабского языка, доступные в размерах 3B, 7B и 34B параметров.
Главная инновация — гибридная архитектура, сочетающая State Space Models (Mamba) и Transformer attention в каждом блоке. Это позволяет эффективно обрабатывать длинные последовательности. Контекстное окно увеличено до 128K токенов для модели 3B и до 256K токенов для моделей 7B и 34B.
Модели созданы с учётом обратной связи от сообщества после релиза Falcon-Arabic. Они лучше справляются с диалектами, математическими рассуждениями и длинными контекстами. Архитектура оптимизирована для сложной морфологии и структуры арабского языка.
Новые модели устанавливают новый стандарт для NLP на арабском языке. Они предназначены для юридического анализа, медицинских записей, академических исследований и длинных диалогов.
