Netflix показала VOID для удаления объектов из видео без сломанной физики
Исследователи из Netflix и INSAIT представили VOID — систему для удаления объектов из видео в сложных сценах. В отличие от обычных моделей, она пытается не просто закрасить пустое место, а правдоподобно перестроить последствия взаимодействий в кадре.
Проблема в том, что если убрать объект, который сталкивался с другими предметами или влиял на их движение, обычное inpainting часто дает странный результат. VOID решает это через связку из VLM и diffusion-модели: сначала система определяет, какие части сцены тоже изменятся, а потом генерирует уже новый физически согласованный вариант видео.
Для обучения авторы собрали специальный датасет counterfactual-удалений на базе Kubric и HUMOTO. В тестах на синтетических и реальных данных VOID, по словам авторов, лучше сохраняет логику движения сцены после удаления объекта.
