Google AI выпустила TranslateGemma. Это семейство моделей для перевода. Они построены на базе Gemma 3.
Модели бывают трёх размеров. 4, 12 и 27 миллиардов параметров. Они работают на разных устройствах.
Это не новая архитектура. Это Gemma 3, обученная переводу. Обучение шло в два этапа.
Сначала модели учились на параллельных текстах. Использовали переводы людей и синтетические данные. Данные создавали с помощью Gemini.
Для редких языков взяли специальные наборы. SMOL и GATITOS. Это улучшило охват языковых семей.
В смеси данных оставили 30% общих инструкций. Это важно. Иначе модель забыла бы, как рассуждать.
Потом началось обучение с подкреплением. Использовали несколько моделей вознаграждения. Они оценивали качество перевода.
Одна модель искала ошибки. Другая проверяла естественность текста. Третья следила за грамматикой.
Это улучшило распределение наград. Каждый токен получал свою оценку. Перевод стал точнее.
Модели тестировали на бенчмарке WMT24++. Результаты оценивали по двум метрикам. MetricX 24 и Comet22.
