NVIDIA выпустила открытую модель DreamDojo. Она учит роботов понимать мир. Модель работает с пикселями, а не с физикой.
Обучение заняло 44 711 часов. Это видео с людей в быту. Данные собрали из 6 тысяч разных задач.
Роботам не хватает данных. Их сбор долгий и дорогой. Люди же уже умеют обращаться с миром.
Модель извлекает действия из видео. Она находит самое важное движение между кадрами. Это становится командой для робота.
Архитектура модели улучшена. Она предсказывает изменения, а не позы. Это помогает обобщать опыт.
Скорость работы довели до 10 кадров в секунду. Для этого сократили шаги обработки. Модель стабильно работает минуту.
DreamDojo стал точным симулятором. Его прогнозы почти совпадают с реальностью. Это снижает риски при тестах.
Робот может «прикинуть» будущее. Он симулирует несколько действий и выбирает лучшее. Так успешность выросла на 17%.
Разработчики управляют виртуальными роботами в реальном времени. Это открывает новые возможности. Мир роботов стал ближе.
