Яндекс опубликовал новую языковую модель AliceAI-Foundation-80B-A3B-Base. Её полностью обучили с нуля без использования весов других открытых моделей. Модель содержит 80 млрд параметров, но для обработки каждого запроса использует около 3 млрд.
По данным Яндекса, модель показала сильные результаты в работе с фактами, математикой, кодом и длинными текстами. В тестах WikiWebFacts она набрала 86,5 балла, а в HardMultiQA — 67,9. На сложных задачах IMO AnswerBench и LiveCodeBench модель стала лидером среди сравниваемых открытых претрейнов.
Вместе с моделью Яндекс опубликовал технический отчёт, два теста для проверки знаний и протоколы оценки. Модель доступна на Hugging Face под лицензией Apache 2.0. Она предназначена для дальнейшего дообучения и развития агентских возможностей Алисы AI.
