Cohere AI Labs представила Tiny Aya. Это семейство небольших языковых моделей. Модели работают с 70 языками.
Архитектура содержит 3,35 миллиарда параметров. Контекстное окно — 8192 токена. Модель обучали на 6 триллионах токенов.
Модель переводит и генерирует текст. Она обходит конкурентов в 46 из 61 языка. Это показали тесты WMT24++.
Разработчики создали пять версий. Есть базовая, глобальная и три региональных. Они называются Земля, Огонь и Вода.
Для обучения использовали синтетические данные. Система FUSION объединяла ответы «команды учителей». Затем модель-судья выбирала лучшие части.
Модель оптимизировали для работы на устройствах. С квантованием она занимает 2,14 ГБ памяти. Это позволяет запускать её на телефоне.
На iPhone 13 скорость составляет 10 токенов в секунду. На iPhone 17 Pro — уже 32 токена. Потери в качестве минимальны.
Модель хорошо справляется с математикой. Для африканских языков точность — 39,2%. У конкурентов результат значительно ниже.
Безопасность ответов тоже на высоте. Средний показатель — 91,1%. Модель редко переключается на английский без запроса.
