Netflix veröffentlicht VOID: Inpainting, das Kausalzusammenhänge versteht 🍿

Normales Inpainting in Videos funktioniert so: Man markiert eine Person, das Netzwerk übermalt ihre Pixel mit Hintergrundpixeln. Das Ergebnis ist unscharf, aber okay. Wenn die Person jedoch eine Gitarre hielt oder sich auf einen Tisch stützte, bleibt die Gitarre in der Luft hängen und die Tischdecke behält die Form des nicht vorhandenen Ellbogens.

Forscher von Netflix haben zusammen mit INSAIT das Modell VOID (Video Object and Interaction Deletion) veröffentlicht. Dieses Ding übermalt nicht einfach Hintergrundpixel, sondern entfernt das Objekt zusammen mit all seinen physikalischen Interaktionen in der Szene.

Person entfernt, die eine Gitarre hielt – die Gitarre fällt realistisch zu Boden.
Ständer entfernt – Gegenstand rollt vom Tisch.

Wie es funktioniert:
Basis ist CogVideoX von Zhipu AI. Die ganze Magie steckt nicht in einer übermäßig komplexen Architektur, sondern in der Datenvorbereitungspipeline und einem cleveren Conditioning.

1️⃣ Quadmask (4-Wert-Maske)
Statt der klassischen binären Maske (entfernen/behalten) wird dem Netzwerk eine Maske mit vier Werten gefüttert:
0 (schwarz) – das zu entfernende Objekt selbst.
127 (grau) – betroffene Region (Interaktionszone, in der sich physikalische Prozesse ändern, z.B. Falltrajektorie).
63 (dunkelgrau) – Overlay.
255 (weiß) – statischer Hintergrund, der nicht angetastet wird.
Diese Maske wird in der Vorverarbeitung automatisch durch eine Kombination aus SAM2 und Gemini (VLM-Mask-Reasoner) erstellt.

2️⃣ Kontrafaktischer Datensatz
Das Modell simuliert Physik nicht in Echtzeit. Um dem Diffusionsmodell Physik beizubringen, erzeugten die Ingenieure einen Datensatz mit paarweisen Videos in Blender (basierend auf Mocap-Daten von HUMOTO) und Kubric. In einem Video ist das Objekt vorhanden, im zweiten nicht, und die Engine berechnet die Physik des Falls der anderen Elemente. Das Modell hat einfach diesen physikalischen Prior gelernt.

3️⃣ 2-Pass-Inferenz
Der erste Durchgang entfernt das Objekt grundlegend. Aber wir wissen, dass Video-Diffusionsmodelle zum Flimmern neigen. Daher gibt es Pass 2: Er verwendet optischen Fluss, um verrauschtes Rauschen (warped noise) im latenten Raum zu erzeugen. Das fixiert die zeitliche Konsistenz hart.

Um diese Pipeline auszuführen, benötigen Sie eine GPU mit mindestens 40 GB VRAM (A100). Diffusions-Transformer für Videos fressen Unmengen an Speicher. Glücklicherweise sind im Code von Haus aus CPU-Offloading und FP8-Quantisierung integriert, sodass man es auf einfacherer Hardware versuchen kann, wenn man viel Zeit für das Warten auf Tensoren aus dem RAM hat.

Code, Gewichte (im safetensors-Format) und Demo-Notebook sind bereits veröffentlicht.

#годный_опенсорс