LifeSim 인테리어: 한 장의 사진으로 분해 가능한 3D 방 만들기

1 서론

3D 장면은 표면 그 이상입니다. 그것은 재배치할 수 있는 방, 옮길 수 있는 소파, 교체할 수 있는 선반입니다. 공간을 이해하는 시스템은 단일 고정 메시가 아니라 그러한 부분들을 복구해야 합니다.

LifeSim Interiors는 환경과 모든 객체를 자체 메시로 생성합니다. 이는 객체-장면 증류에 대한 최근 연구와 Microsoft의 TRELLIS.2 [1]를 기반으로 합니다. 저희는 이 모든 스택을 Google Cloud에서 이틀 만에 구축했습니다. 저희의 기여는 다음과 같습니다.

• 세계 공장: 텍스트가 이미지가 되고, 이미지가 3D 자산이 되며, 자산이 물리적으로 유효한 방이 됩니다(섹션 2).
• 장면 생성기: 환경과 여러 객체를 하나의 공유 프레임에서 동시에 생성하도록 확장된 3D 객체 모델(섹션 3).
• 객체 정제: 각 객체는 장면의 나머지 부분에 따라 자체 프레임에서 더 높은 세부 정보로 재생성됩니다(섹션 3.3).
• 측정: 공개 벤치마크 프로토콜과 생성된 장면을 실제 카메라 프레임에 배치하는 자체 방법(섹션 4).

2. 세계 생성

3D 방을 부품별로 나눈 대규모 데이터셋이 없어서 직접 만들었습니다. 사전 훈련된 객체 생성기가 부품을 만들고, 저희 파이프라인이 이를 조립해 방을 만듭니다.

2.1. 단어에서 부품으로

모든 객체와 방은 짧은 설명으로 시작됩니다. 이미지 모델이 이를 그리고, TRELLIS.2가 그림을 질감 있는 3D 에셋으로 변환합니다 (그림 1).

2.2. 가장 어려운 에셋은 빈 방

빈 방을 생성하는 것은 놀랍도록 어렵습니다. 일반적인 배경 제거 방식은 옅은 벽과 바닥을 배경으로 처리해서, 첫 번째 '빈 거실'은 창문과 커튼 두 개로만 나왔습니다. 색상별로 환경을 마스킹하면 방 전체를 온전히 유지할 수 있습니다 (그림 2).

2.3. 물리 법칙을 따르는 방

각 객체는 실제 지지 표면에 놓입니다. 떠다니거나 벽을 통과하는 객체는 제외하고 충돌을 해결합니다. 카메라는 가구가 배치된 영역을 조준하고, 시야는 모든 객체에 맞춰지며, 모든 객체가 보이는 뷰만 유지됩니다 (그림 3).

2.4. 대규모 생성

한 시간도 안 되어 공장은 16가지 방 유형과 89가지 객체 범주에 걸쳐 5,500개의 에셋을 생산했습니다. 이를 통해 각 약 6개의 객체를 포함하는 10,216개의 훈련 장면을 구성했습니다 (그림 4).

규모가 커지면서 파일럿 단계에서는 숨겨져 있던 문제가 드러났습니다. 이미지 모델은 종종 '가구 없음'을 무시하고 가구가 배치된 방을 그리는데, 이는 분해와는 반대되는 것을 가르칩니다. 저희의 기하학적 필터는 각 방을 위에서 내려다보고 바닥의 자유 공간을 측정합니다. 그 결과 1,493개의 환경 중 537개가 유지되었습니다.

3. 객체가 아닌 장면 생성

3.1. 방 전체를 위한 하나의 시퀀스

하나의 환경과 최대 30개의 객체로 구성된 장면의 모든 구성 요소는 고정된 3D 생성기에서 단일 토큰 시퀀스를 공유합니다. 모든 객체는 다른 모든 객체와 주변 방에 주의를 기울일 수 있습니다.

3.2. 모델이 이미 아는 것에서 시작

학습 가능한 유형 및 슬롯 임베딩은 환경을 객체와 구별하고 객체들을 서로 구별합니다. 이들은 0에서 시작하므로, 첫 번째 훈련 단계에서 모델은 사전 훈련된 모델과 정확히 동일하게 동작합니다. 가벼운 어댑터만 훈련됩니다.

3.3. 객체 자체 프레임에서의 정제

객체는 방 크기 그리드의 몇 개의 복셀만 차지합니다. 정제는 각 객체를 자체 정규화된 프레임으로 이동시키고, 전체 장면에 주의를 기울이면서 다시 생성한 다음, 원래 위치에 정확히 다시 배치합니다.

3.4. 아키텍처

• 기본 모델. TRELLIS.2-4B [1], 구조, 모양 및 질감을 위한 플로우 매칭 트랜스포머 [3]를 사용한 희소 복셀 이미지-3D 생성기.
• 어댑터. 모든 어텐션 및 MLP 레이어에 랭크 32의 LoRA [2]: 고정된 백본에 3,700만 개의 훈련 가능한 파라미터.
• 인수분해된 어텐션. 30개 구성 요소 장면에서의 밀집 어텐션은 훈련 단계당 43초가 소요됩니다. 저희 설계에서는 30개 레이어 중 5개가 장면 전체에 걸쳐 어텐션하고 나머지는 각 구성 요소 내에서 어텐션하는데, 이는 기본 모델이 사전 훈련된 방식입니다. 이는 약 3배 더 저렴합니다.

4. 결과

4.1. 카메라 정렬

실제 세계 평가는 카메라의 측정 프레임에서 예측을 필요로 합니다. 생성된 장면을 가시 깊이에 등록하고, 깊이 맵 일관성으로 각 후보 포즈의 점수를 매깁니다. 이것이 없으면 5%의 스케일 오류만으로도 F-점수 26점이 손실됩니다.

4.2. 모델 스케일링

LifeSim Interiors는 훈련 컴퓨팅에 따라 개선됩니다. 보류된 합성 장면에서 10cm에서의 F-점수(높을수록 좋음)는 모든 체크포인트에서 상승하며, 훈련이 두 배가 될 때마다 약 9점씩 증가합니다 (표 1).

파이프라인 자체는 견고합니다. 그라운드 트루스 잠재 변수를 디코딩하고 이를 예측으로 평가하면 F-점수 100%를 얻습니다. 모델은 또한 훈련된 장면과 새로운 장면에서 거의 동일한 점수를 얻으므로, 아직 훈련이 부족한 상태이며 과적합되지 않았습니다. 이 모델은 이러한 종류의 방법이 일반적으로 받는 훈련 컴퓨팅의 극히 일부만 보았습니다.

5. 다음 단계

모델은 학습 중이며, 저희는 일찍 중단했습니다. 다음 세 가지 단계가 있습니다: 더 오래 훈련하고, 더 사실적인 방을 구성하며, 진정으로 빈 환경을 생성하는 것입니다.

두 번째 단계는 이미 시작했습니다. 저희의 텍스트-인테리어 연구실은 LLM으로 방 레이아웃을 작성하고 비전 모델로 모든 에셋을 확인합니다. 이 방들을 세계 공장에 투입하는 것이 다음 실험입니다.

중심에 있는 모델은 작습니다. 실제 작업의 대부분은 그 주변에 있습니다: 믿을 수 있는 세계를 제조하고, 효율적으로 렌더링하며, 실제 세계와 정직하게 결과를 측정하는 것입니다. LifeSim Interiors가 성숙해짐에 따라 더 많은 것을 공유할 것입니다.