LifeSim İç Mekanları: Tek Fotoğraftan Parçalarına Ayrılabilen 3D Odalara

1 Giriş

Bir 3D sahne bir yüzeyden daha fazlasıdır. Yeniden düzenleyebileceğiniz bir oda, hareket ettirebileceğiniz bir kanepe, değiştirebileceğiniz bir raftır. Alanı anlayan bir sistem, sadece tek bir donmuş ağ değil, bu parçaları kurtarmak zorundadır.

LifeSim Interiors, bir ortam artı her nesneyi kendi ağı olarak oluşturur. Nesneden sahneye damıtma ve Microsoft'un TRELLIS.2 [1] üzerindeki son çalışmalara dayanmaktadır. Tüm yığını Google Cloud'da iki günde inşa ettik. Katkılarımız şunlardır:

• Bir dünya fabrikası: metin görüntülere, görüntüler 3D varlıklara ve varlıklar ölçekli olarak fiziksel olarak geçerli odalara dönüşür (Bölüm 2).
• Bir sahne oluşturucu: bir ortamı ve birçok nesneyi tek bir paylaşılan çerçevede birlikte oluşturmak için genişletilmiş bir 3D nesne modeli (Bölüm 3).
• Nesne iyileştirme: her nesne, sahnenin geri kalanına bağlı olarak kendi çerçevesinde daha yüksek ayrıntıda yeniden oluşturulur (Bölüm 3.3).
• Ölçüm: halka açık bir karşılaştırma protokolü, ayrıca oluşturulan sahneleri gerçek bir kameranın çerçevesine yerleştirmek için kendi yöntemimiz (Bölüm 4).

2 Üretim Dünyaları

Ayrı parçalara ayrılmış geniş bir 3D oda veri kümesi bulunmadığından, biz bir tane üretiyoruz. Önceden eğitilmiş bir nesne oluşturucu parçaları üretir ve sistemimiz bunları odalar halinde birleştirir.

2.1 Kelimelerden Parçalara

Her nesne ve her oda kısa bir açıklamayla başlar. Bir görüntü modeli onu çizer ve TRELLIS.2 çizimi dokulu bir 3D varlığa dönüştürür (Şekil 1).

2.2 En Zor Varlık Boş Bir Oda

Boş bir oda oluşturmak şaşırtıcı derecede zordur. Standart arka plan kaldırma, soluk duvarları ve zeminleri arka plan olarak ele alır, bu nedenle ilk “boş oturma odamız” bir pencere ve iki perde olarak geri geldi. Ortamları renge göre maskeleme, tüm odayı sağlam tutar (Şekil 2).

2.3 Fiziğe Uyan Odalar

Her nesne gerçek bir destek yüzeyine bırakılır. Yüzen veya bir duvardan geçen her şey reddedilir ve çarpışmalar çözülür. Kameralar döşenmiş bölgeye nişan alır, görüş alanı her nesneye göre ayarlanır ve yalnızca her nesnenin görünür olduğu görünümler korunur (Şekil 3).

2.4 Ölçekte

Bir saatten kısa sürede, fabrika 16 oda tipinde ve 89 nesne kategorisinde 5.500 varlık üretti. Bunlardan yaklaşık altı nesne içeren 10.216 eğitim sahnesi oluşturdu (Şekil 4).

Ölçek, pilotun gizlediği bir sorunu ortaya çıkardı: görüntü modelleri genellikle “mobilya yok” ifadesini görmezden gelir ve yine de döşenmiş odalar çizer, bu da ayrıştırmanın tam tersini öğretir. Geometrik filtremiz her odaya yukarıdan bakar ve zeminin ne kadarının boş olduğunu ölçer. 1.493 ortamdan 537'sini korudu.

3 Nesneler Değil, Sahneler Oluşturma

3.1 Tüm Oda İçin Tek Bir Dizi

Bir sahnenin tüm bileşenleri, bir ortam ve otuza kadar nesne, dondurulmuş bir 3D jeneratör üzerinde tek bir belirteç dizisini paylaşır. Her nesne diğer her nesneye ve etrafındaki odaya dikkat edebilir.

3.2 Modelin Zaten Bildiği Yerden Başlamak

Öğrenilebilir tip ve yuva gömüleri, ortamı nesnelerden ve nesneleri birbirinden ayırır. Sıfırdan başlarlar, bu nedenle ilk eğitim adımında model, önceden eğitilmiş olanla tamamen aynı şekilde davranır. Yalnızca hafif adaptörler eğitilir.

3.3 Nesnenin Kendi Çerçevesinde İyileştirme

Nesneler, oda boyutunda bir ızgaranın yalnızca birkaç vokselini kaplar. İyileştirme, her nesneyi kendi normalleştirilmiş çerçevesine taşır, tüm sahneye dikkat ederek onu yeniden oluşturur ve tam olarak olduğu yere geri yerleştirir.

3.4 Mimari

• Temel model. TRELLIS.2-4B [1], yapı, şekil ve doku için akış eşleştirme transformatörleri [3] ile seyrek voksel görüntüden 3D'ye jeneratör.
• Adaptörler. Her dikkat ve MLP katmanında 32. dereceden LoRA [2]: dondurulmuş bir omurgada 37M eğitilebilir parametre.
• Faktörlü dikkat. 30 bileşenli bir sahne üzerinde yoğun dikkat, eğitim adımı başına 43 saniyeye mal olur. Tasarımımızda, otuz katmandan beşi sahne boyunca dikkat eder ve geri kalanı her bileşen içinde dikkat eder, bu da temel modelin önceden eğitildiği rejimdir. Bu yaklaşık 3 kat daha ucuzdur.

4 Sonuçlar

4.1 Kameraya Hizalama

Gerçek dünya değerlendirmesi, kameranın metrik çerçevesinde tahminler gerektirir. Oluşturulan sahneyi görünür derinliğe kaydederiz ve her aday pozu derinlik haritası tutarlılığına göre puanlarız. Bu olmadan, yalnızca %5'lik bir ölçek hatası bile F-skorunda 26 puanlık bir kayba neden olur.

4.2 Model Ölçeklendirme

LifeSim Interiors, eğitim hesaplamasıyla gelişir. Tutulan sentetik sahnelerde, 10 cm'deki F-skoru (yüksek daha iyidir) her kontrol noktasında yükselir ve eğitim her iki katına çıktığında yaklaşık dokuz puan kazanır (Tablo 1).

Sistem sağlamdır: gerçek zamanlı gizli değişkenleri çözmek ve bunları tahmin olarak puanlamak %100 F-skoru verir. Model ayrıca, eğitim aldığı sahnelerde olduğu gibi yeni sahnelerde de yaklaşık olarak aynı puanı alır, bu nedenle hala yetersiz eğitilmiş, aşırı uyum sağlamamıştır. Model, bu tür bir yönteme genellikle verilen eğitim hesaplamasının küçük bir kısmını görmüştür.

5 Sırada Ne Var

Model öğreniyor; erken durduk. Sırada üç adım var: daha uzun süre eğitim, daha gerçekçi odalar oluşturma ve gerçekten boş ortamlar üretme.

İkinci adımda zaten bir başlangıç yaptık. Metinden iç mekana laboratuvarımız, bir LLM ile oda düzenleri yazar ve her varlığı bir görme modeliyle kontrol eder. Bu odaları dünya fabrikasına beslemek bir sonraki deneyimizdir.

Merkezdeki model kompakttır. Gerçek işin çoğu etrafında döner: inandırıcı dünyalar üretmek, onları verimli bir şekilde işlemek ve sonuçları gerçek olana karşı dürüstçe ölçmek. LifeSim Interiors olgunlaştıkça daha fazlasını paylaşacağız.