Google представил рейтинг ИИ для Android-разработки
Google представил открытый рейтинг для языковых моделей. Он оценивает их работу в Android-разработке.
Бенчмарк
AMD догоняет NVIDIA в тестах нового поколения ИИ
Вышел InferenceX v2 — самый масштабный тест для ИИ-чипов. Он сравнивает почти тысячу видеокарт NVIDIA и AMD нового поколения.
ИИ-агенты провалили тест на работу в офисе
Искусственный интеллект для офиса оказался не таким умным. Новый тест развеял иллюзии о его готовности.
ReEfBench: новый бенчмарк оценивает эффективность рассуждений ИИ
Исследователи представили новый бенчмарк ReEfBench, который оценивает не результат, а сам процесс рассуждения больших языковых моделей, выявляя ключевые ограничения современных методов.
SpatialBench: ИИ-агенты плохо анализируют биологические данные
Исследователи представили бенчмарк SpatialBench, чтобы проверить, могут ли современные ИИ-агенты извлекать биологические знания из сложных пространственных данных. Результаты первых тестов оказались низкими.