Исследователи Salesforce представили систему FOFPred. Она предсказывает движение объектов на видео.
Достаточно одной картинки и текстовой команды. Система покажет четыре кадра будущего перемещения.
Она вычисляет оптический поток. Это смещение каждого пикселя между кадрами.
Такое представление удаляет статичный фон. Остаётся только чистое движение.
Это упрощает задачу для роботов. Им не нужно анализировать текстуры и детали.
Система кодирует поток движения в RGB-изображения. Затем сжимает их через автоэнкодер.
В основе лежит большая языковая модель Qwen2.5-VL. Она понимает команды и картинки.
Диффузионный трансформер генерирует последовательности движения. Остальные компоненты заморожены.
Модель обучали на 500 тысячах роликов. Использовали датасеты с действиями людей.
Ключевая задача — отделить движение камеры от движения объекта. Алгоритм вычисляет гомографию.
Затем вычитает движение камеры. Остаётся относительный поток объектов.
Это делает прогноз чистым и точным. Робот видит только нужное действие.
