Netflix, nedensellik ilişkilerini anlayan VOID: Inpainting'i yayınladı 🍿

Sıradan video inpainting şöyle çalışır: bir kişiyi seçersiniz, ağ onun piksellerini arka planla kaplar. Sonuç bulanık olur, neyse. Ama kişi bir gitar tutuyor veya bir masaya yaslanıyorsa, gitar havada asılı kalır ve masa örtüsü var olmayan bir dirseğin şeklini korur.

Netflix araştırmacıları INSAIT ile birlikte VOID (Video Object and Interaction Deletion) modelini yayınladı. Bu şey sadece arka plan piksellerini kapatmakla kalmaz, nesneyi sahnedeki tüm fiziksel etkileşimleriyle birlikte siler.

Gitar tutan bir kişiyi kaldırdınız — gitar gerçekçi bir şekilde yere düşer.
Bir sehpayı kaldırdınız — nesne masadan yuvarlanır.

Nasıl çalışır:
Temel: Zhipu AI'dan CogVideoX. Tüm sihir, mimariyi aşırı karmaşıklaştırmakta değil, veri hazırlama hattında ve akıllı conditioning'de gizlidir.

1️⃣ Quadmask (4 değerli maske)
Klasik ikili maske (sil/bırak) yerine, ağa dört değerli bir maske verilir:
0 (siyah) — silinecek nesnenin kendisi.
127 (gri) — etkilenen bölge (fiziksel süreçlerin değişeceği etkileşim alanı, örneğin düşüş yörüngesi).
63 (koyu gri) — bindirme.
255 (beyaz) — dokunulmayan statik arka plan.
Bu maske ön işleme sırasında SAM2 ve Gemini (VLM-Mask-Reasoner) kombinasyonu tarafından otomatik olarak oluşturulur.

2️⃣ Karşıolgusal veri kümesi
Model, gerçek zamanlı fizik simülasyonu yapmaz. Difüzyon modeline fiziği öğretmek için mühendisler, Blender'da (HUMOTO mocap verilerine dayanarak) ve Kubric'te eşleştirilmiş videolardan oluşan bir veri kümesi oluşturdu. Bir videoda nesne var, diğerinde yok ve motor diğer elemanların düşme fiziğini hesaplıyor. Model sadece bu fiziksel önceliği öğrendi.

3️⃣ 2 Aşamalı Çıkarım
İlk geçiş, nesneyi temel olarak kaldırır. Ancak video difüzyon modellerinin titremeyi sevdiğini biliyoruz. Bu nedenle Pass 2 vardır: gizli uzayda warped noise üretmek için optik akış kullanır. Bu, zamansal tutarlılığı sıkıca sabitler.

Bu hattı çalıştırmak için en az 40GB VRAM (A100) GPU gerekir. Video difüzyon transformatörleri acımasızca bellek tüketir. Neyse ki, kodda kutu içinde CPU-offload ve FP8 niceleme bulunur, böylece RAM'den tensörlerin gelmesini beklemek için çok zamanınız varsa daha basit donanıma sıkıştırmayı deneyebilirsiniz.

Kod, ağırlıklar (safetensors formatında) ve demo not defteri zaten açık.

#iyi_açık_kaynak