অক্টোবর ১০, ২০২৬

LifeSim Interiors: একটি ছবি থেকে 3D রুম, যার প্রতিটি অংশ আলাদা করা যায়

LifeSim টিম

সারাংশ

এই গবেষণাপত্রে আমরা LifeSim Interiors উপস্থাপন করছি, যা একটি ছবি থেকে একটি বিয়োজিত 3D দৃশ্য তৈরি করার একটি পদ্ধতি। এতে একটি পরিবেশের পাশাপাশি প্রতিটি বস্তু তার নিজস্ব মেশ হিসেবে সঠিক জায়গায় তৈরি হয়। সিস্টেমটি TRELLIS.2 [1]-এর একটি সম্প্রসারিত রূপ, যা একটি পরিবেশ এবং ত্রিশটি পর্যন্ত বস্তু একসাথে একটি অভিন্ন ফ্রেমে তৈরি করে। যেহেতু বিয়োজিত 3D ঘরের কোনো বড় ডেটাসেট বিদ্যমান নেই, আমরা একটি পাইপলাইন তৈরি করেছি যা ৫,৫০০টি অ্যাসেট এবং ১০,২১৬টি ভৌতভাবে বৈধ প্রশিক্ষণ দৃশ্য তৈরি করেছে। Held-out কৃত্রিম দৃশ্যের উপর পরীক্ষায়, ২৫০ থেকে ১,৫০০ ধাপে প্রশিক্ষণ বাড়ার সাথে সাথে ১০ সেমি-তে F-স্কোর ৪.৩% থেকে ২৬.৮%-এ উন্নীত হয় এবং রেখাচিত্রটি কোনো স্থির অবস্থায় পৌঁছায়নি।

১ ভূমিকা

একটি 3D সিন শুধু একটি সারফেসের চেয়েও বেশি কিছু। এটি এমন একটি ঘর যা আপনি আবার সাজাতে পারেন, একটি সোফা যা আপনি সরাতে পারেন, একটি তাক যা আপনি বদলাতে পারেন। যে সিস্টেম স্পেস বোঝে, তাকে শুধু একটি স্থির মেশ নয়, বরং এই অংশগুলোকেও পুনরুদ্ধার করতে হয়।

LifeSim Interiors একটি এনভায়রনমেন্টসহ প্রতিটি অবজেক্টকে তার নিজস্ব মেশ হিসেবে তৈরি করে। এটি অবজেক্ট-টু-সিন ডিস্টিলেশন এবং মাইক্রোসফটের TRELLIS.2 [1]-এর সাম্প্রতিক কাজের উপর ভিত্তি করে তৈরি। আমরা Google Cloud-এ দুদিনের মধ্যে এর চারপাশে পুরো স্ট্যাকটি তৈরি করেছি। আমাদের অবদানগুলো হলো:

একটি ওয়ার্ল্ড ফ্যাক্টরি: টেক্সট থেকে ইমেজ, ইমেজ থেকে 3D অ্যাসেট এবং অ্যাসেট থেকে ফিজিক্যালি ভ্যালিড রুম তৈরি হয়, বড় স্কেলে (অনুচ্ছেদ ২)।
একটি সিন জেনারেটর: একটি 3D অবজেক্ট মডেল, যা একটি এনভায়রনমেন্ট এবং অনেকগুলো অবজেক্ট একসাথে একটি শেয়ার্ড ফ্রেমে তৈরি করার জন্য সম্প্রসারিত হয়েছে (অনুচ্ছেদ ৩)।
অবজেক্ট রিফাইনমেন্ট: প্রতিটি অবজেক্টকে তার নিজস্ব ফ্রেমে আরও বেশি ডিটেইলে আবার তৈরি করা হয়, যা সিনের বাকি অংশের উপর নির্ভর করে (অনুচ্ছেদ ৩.৩)।
পরিমাপ: একটি পাবলিক বেঞ্চমার্ক প্রোটোকল, সাথে তৈরি করা সিনগুলোকে একটি আসল ক্যামেরার ফ্রেমে স্থাপন করার জন্য আমাদের নিজস্ব পদ্ধতি (অনুচ্ছেদ ৪)।

২ ওয়ার্ল্ড ম্যানুফ্যাকচারিং

আলাদা আলাদা অংশে ভাঙা 3D রুমের কোনো বড় ডেটাসেট নেই, তাই আমরা নিজেরাই একটি তৈরি করি। একটি প্রি-ট্রেইনড অবজেক্ট জেনারেটর অংশগুলো তৈরি করে, এবং আমাদের পাইপলাইন সেগুলোকে রুমে একত্রিত করে।

২.১ শব্দ থেকে অংশ

প্রতিটি অবজেক্ট এবং প্রতিটি রুম একটি ছোট বিবরণ দিয়ে শুরু হয়। একটি ইমেজ মডেল সেটি আঁকে, এবং TRELLIS.2 সেই ড্রয়িংকে একটি টেক্সচারসহ 3D অ্যাসেটে পরিণত করে (চিত্র ১)।

ইমেজ প্রম্পট এবং তা থেকে তৈরি 3D অ্যাসেট: উপরে খালি এনভায়রনমেন্ট, নিচে অবজেক্ট — **চিত্র ১:** ইমেজ প্রম্পট → জেনারেটেড অ্যাসেট। উপরে: খালি এনভায়রনমেন্ট। নিচে: অবজেক্ট।

২.২ সবচেয়ে কঠিন অ্যাসেট হলো একটি খালি ঘর

একটি খালি ঘর তৈরি করা আশ্চর্যজনকভাবে কঠিন। সাধারণ ব্যাকগ্রাউন্ড রিমুভাল ফ্যাকাশে দেয়াল এবং মেঝেগুলোকে ব্যাকগ্রাউন্ড হিসেবে ধরে নেয়, তাই আমাদের প্রথম “খালি বসার ঘর” একটি জানালা এবং দুটি পর্দা হিসেবে ফিরে এসেছিল। রঙ দিয়ে এনভায়রনমেন্ট মাস্ক করলে পুরো ঘরটি অক্ষত থাকে (চিত্র ২)।

জেনারেট করা একটি খালি ঘর, ডিফল্ট ম্যাটিংয়ের পরে একই ঘর, এবং কালার ম্যাটিংয়ের পরে — **চিত্র ২:** জেনারেটেড ইমেজ · ডিফল্ট ম্যাটিং · কালার ম্যাটিং।

২.৩ ফিজিক্স মেনে চলা ঘর

প্রতিটি অবজেক্টকে একটি বাস্তব সাপোর্টিং সারফেসের উপর ফেলা হয়। যা কিছু ভাসে বা দেয়ালের মধ্য দিয়ে যায় তা বাতিল করা হয় এবং সংঘর্ষের সমাধান করা হয়। ক্যামেরাগুলো ফার্নিশড অঞ্চলের দিকে তাক করা হয়, যেখানে ফিল্ড অফ ভিউ প্রতিটি অবজেক্টের সাথে ফিট করা থাকে, এবং শুধুমাত্র সেই ভিউগুলোই রাখা হয় যেখানে প্রতিটি অবজেক্ট দেখা যায় (চিত্র ৩)।

আলাদা অংশ, তিনটি ভিন্ন দৃষ্টিকোণ থেকে তৈরি ঘর, এবং প্রতিটি কম্পোনেন্টের জন্য একটি করে রঙ — **চিত্র ৩:** অংশ → তিনটি ভিন্ন দৃষ্টিকোণ থেকে তৈরি ঘর → প্রতিটি কম্পোনেন্টের জন্য একটি করে রঙ, যে ডিকম্পোজিশন মডেলকে শিখতে হবে।

২.৪ বৃহৎ পরিসরে

এক ঘণ্টারও কম সময়ে ফ্যাক্টরিটি ১৬ ধরনের রুম ও ৮৯টি অবজেক্ট ক্যাটাগরিতে ৫,৫০০টি অ্যাসেট তৈরি করেছে। এগুলো থেকে ১০,২১৬টি ট্রেনিং সিন তৈরি করা হয়, যার প্রতিটিতে গড়ে ছয়টি করে অবজেক্ট ছিল (চিত্র ৪)।

পাইপলাইন দিয়ে স্বয়ংক্রিয়ভাবে তৈরি সিন্থেটিক ট্রেনিং রুমের একটি গ্রিড — **চিত্র ৪:** স্বয়ংক্রিয়ভাবে তৈরি সিন্থেটিক ট্রেনিং সিন।

বৃহৎ পরিসরে কাজ করতে গিয়ে এমন একটি সমস্যা দেখা দেয় যা পাইলট প্রকল্পে ধরা পড়েনি: ইমেজ মডেলগুলো প্রায়ই “no furniture” কমান্ড উপেক্ষা করে এবং আসবাবপত্রসহ রুমের ছবি তৈরি করে, যা ডিকম্পোজিশনের ঠিক উল্টোটা শেখায়। আমাদের জিওমেট্রিক ফিল্টার প্রতিটি রুম ওপর থেকে দেখে মেপে নেয় মেঝে কতটা খালি আছে। এর ফলে ১,৪৯৩টি এনভায়রনমেন্টের মধ্যে ৫৩৭টি টিকে যায়।

৩ অবজেক্ট নয়, সিন জেনারেট করা

৩.১ পুরো রুমের জন্য একটি সিকোয়েন্স

একটি সিনের সমস্ত কম্পোনেন্ট, একটি এনভায়রনমেন্ট এবং ত্রিশটি পর্যন্ত অবজেক্ট, একটি ফ্রোজেন 3D জেনারেটর জুড়ে একটিমাত্র টোকেন সিকোয়েন্স শেয়ার করে। প্রতিটি অবজেক্ট অন্য সব অবজেক্ট এবং তার চারপাশের রুমের প্রতি মনোযোগ দিতে পারে।

৩.২ মডেল আগে থেকে যা জানে, তা দিয়ে শুরু করা

লার্নেবল টাইপ এবং স্লট এমবেডিং এনভায়রনমেন্টকে অবজেক্ট থেকে এবং অবজেক্টগুলোকে একে অপরের থেকে আলাদা করে। এগুলো শূন্য থেকে শুরু হয়, তাই প্রথম ট্রেনিং ধাপে মডেলটি হুবহু প্রি-ট্রেইনড মডেলের মতো আচরণ করে। শুধুমাত্র লাইটওয়েট অ্যাডাপ্টারগুলোকে ট্রেইন করা হয়।

৩.৩ অবজেক্টের নিজস্ব ফ্রেমে রিফাইনমেন্ট

অবজেক্টগুলো একটি রুম-সাইজ গ্রিডের কয়েকটি মাত্র ভক্সেল দখল করে। রিফাইনমেন্ট প্রতিটি অবজেক্টকে তার নিজস্ব নরমালাইজড ফ্রেমে নিয়ে যায়, পুরো সিনের প্রতি মনোযোগ দেওয়ার সময় সেটিকে আবার জেনারেট করে এবং ঠিক আগের জায়গায় ফিরিয়ে দেয়।

৩.৪ আর্কিটেকচার

বেস মডেল। TRELLIS.2-4B [1], স্ট্রাকচার, শেপ এবং টেক্সচারের জন্য ফ্লো-ম্যাচিং ট্রান্সফরমার [3] সহ একটি স্পার্স-ভক্সেল ইমেজ-টু-3D জেনারেটর।
অ্যাডাপ্টার। প্রতিটি অ্যাটেনশন ও MLP লেয়ারে র‍্যাঙ্ক ৩২-এ LoRA [2]: একটি ফ্রোজেন ব্যাকবোনে ৩৭ মিলিয়ন ট্রেইনেবল প্যারামিটার।
ফ্যাক্টরাইজড অ্যাটেনশন। একটি ৩০-কম্পোনেন্ট সিনের ওপর ডেনস অ্যাটেনশনের জন্য প্রতি ট্রেনিং ধাপে ৪৩ সেকেন্ড খরচ হয়। আমাদের ডিজাইনে, ত্রিশটি লেয়ারের মধ্যে পাঁচটি পুরো সিনের ওপর মনোযোগ দেয় এবং বাকিগুলো প্রতিটি কম্পোনেন্টের ভেতরে মনোযোগ দেয়, যে পদ্ধতিতে বেস মডেলটি প্রি-ট্রেইনড হয়েছিল। এটি প্রায় ৩ গুণ সস্তা।

৪. ফলাফল

৪.১ ক্যামেরার সাথে অ্যালাইনমেন্ট

বাস্তব জগতের ইভ্যালুয়েশনের জন্য ক্যামেরার মেট্রিক ফ্রেমে প্রেডিকশন প্রয়োজন। আমরা জেনারেট করা সিনটিকে দৃশ্যমান ডেপথের সাথে রেজিস্টার করি এবং ডেপথ-ম্যাপ কনসিসটেন্সি অনুযায়ী প্রতিটি ক্যান্ডিডেট পোজকে স্কোর দিই। এটি ছাড়া, শুধুমাত্র ৫% স্কেল এররের জন্য F-স্কোরে ২৬ পয়েন্ট কমে যায়।

৪.২ মডেল স্কেলিং

ট্রেনিং কম্পিউট বাড়ার সাথে সাথে LifeSim Interiors উন্নত হয়। হেল্ড-আউট সিন্থেটিক সিনে, ১০ সেমি-তে F-স্কোর (যত বেশি তত ভালো) প্রতিটি চেকপয়েন্টে বাড়ে এবং প্রতিবার ট্রেনিং দ্বিগুণ হলে প্রায় নয় পয়েন্ট করে বাড়ে (সারণী ১)।

সারণী ১: স্ট্রাকচার স্টেজের ট্রেনিং ধাপ অনুযায়ী হেল্ড-আউট সিন্থেটিক সিনে F-score@0.1।

ট্রেনিং ধাপ	250	500	1,000	1,500
F-score@0.1	4.3%	11.6%	21.3%	26.8%

পাইপলাইনটি নিজে থেকেই নির্ভুল: গ্রাউন্ড-ট্রুথ ল্যাটেন্ট ডিকোড করে সেগুলোকে প্রেডিকশন হিসেবে স্কোর করলে ১০০% F-স্কোর পাওয়া যায়। মডেলটি ট্রেনিং করা সিন এবং নতুন সিনের ক্ষেত্রেও প্রায় একই স্কোর করে, তাই এটি এখনও আন্ডারট্রেইনড, ওভারফিট নয়। এই ধরনের পদ্ধতিতে সাধারণত যে পরিমাণ ট্রেনিং কম্পিউট ব্যবহার করা হয়, এই মডেলটি তার সামান্য একটি অংশই পেয়েছে।

৫ এরপর কী

মডেলটি এখনও শিখছে; আমরা আগেই থামিয়ে দিয়েছি। এরপর তিনটি ধাপ আসছে: আরও বেশি সময় ধরে ট্রেনিং, আরও বাস্তবসম্মত রুম তৈরি এবং সত্যিকারের খালি এনভায়রনমেন্ট জেনারেট করা।

দ্বিতীয় ধাপে আমরা ইতিমধ্যেই এগিয়ে আছি। আমাদের টেক্সট-টু-ইন্টেরিয়র ল্যাব একটি LLM দিয়ে রুমের লেআউট লেখে এবং একটি ভিশন মডেল দিয়ে প্রতিটি অ্যাসেট পরীক্ষা করে। সেই রুমগুলোকে ওয়ার্ল্ড ফ্যাক্টরিতে দেওয়া আমাদের পরবর্তী এক্সপেরিমেন্ট।

কেন্দ্রের মডেলটি কম্প্যাক্ট। বেশিরভাগ আসল কাজ এর চারপাশে হয়: বিশ্বাসযোগ্য বিশ্ব তৈরি করা, সেগুলোকে দক্ষতার সাথে রেন্ডার করা এবং বাস্তবতার নিরিখে সততার সাথে ফলাফল পরিমাপ করা। LifeSim Interiors আরও পরিণত হলে আমরা আরও তথ্য শেয়ার করব।

তথ্যসূত্র

Xiang, J., Chen, X., Xu, S., Wang, R., Lv, Z., et al. Native and Compact Structured Latents for 3D Generation. arXiv:2512.14692, 2025.
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., Chen, W. LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685, 2021.
Lipman, Y., Chen, R. T. Q., Ben-Hamu, H., Nickel, M., Le, M. Flow Matching for Generative Modeling. arXiv:2210.02747, 2022.

সাইটেশন

এই কাজটি নিম্নোক্তভাবে উদ্ধৃত করুন:

@misc{lifesim2026interiors,
  title  = {LifeSim Interiors: From One Photo to a 3D Room You Can Take Apart},
  author = {{João Nobre} and {Cris Lenta}},
  year   = {2026},
  month  = {oct},
  url    = {https://lifesim.com/research/interiors}
}