Thinking Machines представила Inkling — модель с открытыми весами на 975 млрд параметров, из которых 41 млрд активны. Модель поддерживает контекстное окно до 1 млн токенов и работает с текстом, изображениями и аудио. Inkling построена на архитектуре разреженной смеси экспертов и обучалась с нуля на 45 трлн токенов текста, изображений, аудио и видео. Компания позиционирует … Читать далее
Большие языковые модели стали слишком дорогими. Новая архитектура MoE решает эту проблему. Она заставляет модель выбирать экспертов для каждого слова.
Теперь можно обучать языковые модели бесплатно. Hugging Face и Unsloth раздают кредиты на свои сервисы.
Искусственный интеллект теперь пишет сложнейший код для видеокарт. Агенты Claude и Codex создали рабочие CUDA-ядра для моделей трансформеров.
Китайские организации ИИ сделали ставку на открытый код. Это доминирующий подход на ближайшее будущее.
Искусственный интеллект GPT-OSS прошёл курс обучения с подкреплением. Теперь он учится не просто отвечать, а действовать.