LifeSim Interiors: от фотографии к 3D-комнате, которую можно разобрать

1. Введение

3D-сцена — это больше, чем просто поверхность. Это комната, в которой можно сделать перестановку, диван, который можно передвинуть, полка, которую можно заменить. Система, понимающая пространство, должна восстанавливать эти части, а не единый застывший меш.

LifeSim Interiors генерирует окружение и каждый объект в виде отдельного меша. Система основана на недавних работах в области дистилляции «объект-сцена» и на модели TRELLIS.2 [1] от Microsoft. Мы развернули весь стек на её основе за два дня в Google Cloud. Наш вклад:

• Фабрика миров: масштабное производство, где текст становится изображениями, изображения — 3D-ассетами, а ассеты — физически корректными комнатами (раздел 2).
• Генератор сцен: расширенная 3D-модель объекта для совместной генерации окружения и множества объектов в едином пространстве (раздел 3).
• Уточнение объектов: каждый объект повторно генерируется в собственном пространстве с более высокой детализацией с учётом остальной части сцены (раздел 3.3).
• Измерение: публичный протокол для бенчмаркинга, а также наш собственный метод размещения сгенерированных сцен в кадре реальной камеры (раздел 4).

2. Производство миров

Большого набора данных с 3D-комнатами, разбитыми на отдельные части, не существует, поэтому мы создаём его сами. Предобученный генератор объектов создаёт части, а наш конвейер собирает их в комнаты.

2.1. От слов к частям

Каждый объект и каждая комната начинаются с краткого описания. Модель изображений рисует его, а TRELLIS.2 преобразует рисунок в текстурированный 3D-ассет (рис. 1).

2.2. Самый сложный ассет — пустая комната

Сгенерировать пустую комнату на удивление сложно. Стандартное удаление фона принимает светлые стены и полы за фон, поэтому наша первая «пустая гостиная» превратилась в окно и две занавески. Маскирование окружения по цвету сохраняет всю комнату целиком (рис. 2).

2.3. Комнаты, подчиняющиеся физике

Каждый объект «падает» на реальную опорную поверхность. Всё, что висит в воздухе или проходит сквозь стену, отбраковывается, а коллизии разрешаются. Камеры нацелены на обставленную область, поле зрения подогнано под каждый объект, и сохраняются только те ракурсы, с которых видны все объекты (рис. 3).

2.4 Масштабирование

Менее чем за час «фабрика» создала 5500 ассетов для 16 типов комнат и 89 категорий объектов. Из них было скомпоновано 10 216 обучающих сцен — в среднем по шесть объектов в каждой (рис. 4).

Масштабирование выявило проблему, которую не показал пилотный проект: модели изображений часто игнорируют запрос «без мебели» и всё равно рисуют комнаты с обстановкой, что мешает обучению декомпозиции. Наш геометрический фильтр смотрит на каждую комнату сверху и измеряет свободную площадь пола. Он оставил 537 из 1493 окружений.

3. Генерация сцен, а не объектов

3.1 Одна последовательность на всю комнату

Все компоненты сцены — одно окружение и до тридцати объектов — используют общую последовательность токенов в «замороженном» 3D-генераторе. Каждый объект может учитывать все остальные объекты и окружающую его комнату.

3.2 На основе уже имеющихся знаний модели

Обучаемые эмбеддинги типов и слотов позволяют отличать окружение от объектов, а объекты — друг от друга. Они инициализируются нулями, поэтому на первом шаге обучения модель ведёт себя так же, как и предобученная. Обучаются только легковесные адаптеры.

3.3 Уточнение в собственной системе координат объекта

Объекты занимают лишь несколько вокселей в сетке размером с комнату. На этапе уточнения каждый объект перемещается в свою нормализованную систему координат, генерируется заново с учётом всей сцены и возвращается на прежнее место.

3.4 Архитектура

• Базовая модель. TRELLIS.2-4B [1] — генератор 3D-моделей из изображений на основе разреженных вокселей с трансформерами на базе потокового сопоставления (flow-matching) [3] для создания структуры, формы и текстуры.
• Адаптеры. LoRA [2] с рангом 32 на каждом слое внимания и MLP: 37 млн обучаемых параметров на «замороженной» основе.
• Факторизованное внимание. Плотное внимание к сцене из 30 компонентов требует 43 секунды на шаг обучения. В нашей архитектуре пять из тридцати слоёв обрабатывают всю сцену, а остальные — отдельные компоненты, то есть работают в режиме, для которого базовая модель была предобучена. Это примерно в 3 раза быстрее.

4. Результаты

4.1 Совмещение с камерой

Для оценки в реальных условиях нужны прогнозы в метрической системе координат камеры. Мы регистрируем сгенерированную сцену по видимой глубине и оцениваем каждую возможную позу по соответствию карте глубины. Без этого одна лишь 5-процентная ошибка в масштабе снижает F-меру на 26 пунктов.

4.2 Масштабирование модели

LifeSim Interiors становится лучше с увеличением вычислительных ресурсов для обучения. На отложенных синтетических сценах F-мера при точности 10 см (чем выше, тем лучше) растёт на каждой контрольной точке, прибавляя около девяти пунктов при каждом удвоении объёма обучения (таблица 1).

Сам конвейер работает надёжно: декодирование эталонных скрытых состояний и их оценка в качестве прогнозов даёт F-меру 100%. Модель также показывает примерно одинаковые результаты на обучающих и на новых сценах, что говорит о недообученности, а не о переобученности. Модель использовала лишь малую часть вычислительных ресурсов, которые обычно выделяются для подобных методов.

5. Что дальше

Модель обучается; мы остановили процесс на раннем этапе. Следующие три шага: продолжить обучение, создавать более реалистичные комнаты и генерировать абсолютно пустые окружения.

Мы уже добились прогресса во втором пункте. Наша лаборатория text-to-interior создаёт планировки комнат с помощью LLM и проверяет каждый ассет с помощью модели компьютерного зрения. Наш следующий эксперимент — передать эти комнаты в «фабрику миров».

Центральная модель компактна. Основная работа происходит вокруг неё: создание правдоподобных миров, их эффективный рендеринг и честная оценка результатов в сравнении с реальным миром. Мы будем делиться новостями по мере развития LifeSim Interiors.