LifeSim
খেলুন

২৭ অক্টোবর, ২০২৬

অ্যাডাম ও ইভ: ফাইন-টিউনড ডিসিশন মডেলের মাধ্যমে ৭০০ LLM-নিয়ন্ত্রিত মাসল

ক্রিস লেন্টা

LifeSim টিম

অন্বেষণ

সারাংশ

অ্যাডাম ও ইভ, ৭০০টি পেশিযুক্ত দুটি সিমুলেটেড মানুষ, যারা সান ফ্রান্সিসকোর প্যালেস অফ ফাইন আর্টসে একসাথে থাকে। ল্যাঙ্গুয়েজ মডেল তাদের কার্যকলাপের সম্ভাব্য সমস্ত স্তর পরিচালনা করে: সারাদিনের কাজ, হাঁটার পথ, ভারসাম্য রক্ষা, পায়ের অবস্থান এবং পেশির টান। এর মধ্যে তিনটি মডেল আমাদের নিজেদের তৈরি: ১৪৪এম-প্যারামিটারের ফাইন-টিউন, যা প্রতিটি একটি সিপিইউ-তে ৪ থেকে ১১ মিনিটে প্রশিক্ষিত। এগুলো তাদের টিচারদের থেকে পাওয়া নতুন ইনপুটের ওপর ভিত্তি করে ০.৯৫৮ থেকে ০.৯৯৯৮ কোরিলেশনে তাদের কাজ অনুকরণ করে। কোনো অবলম্বন ছাড়াই, দুটি দেহই ৮০ নিউটন ধাক্কা সহ্য করে দাঁড়িয়ে থাকতে পারে এবং পড়ে যাওয়ার আগে কয়েক ডজন পা হাঁটতে পারে। এটি একটি পরীক্ষামূলক প্রকল্প, কোনো বাণিজ্যিক পণ্য নয়। এখানে আমরা এর কার্যকারিতা, সীমাবদ্ধতা ও সংশ্লিষ্ট পরিসংখ্যান তুলে ধরেছি।

ভিডিও ১: অ্যাডাম ও ইভের ৩০ সেকেন্ড। লাল রেখাগুলো তাদের পেশি। ডানদিকের প্যানেলে লাইভ দেখানো হচ্ছে তাদের মডেলগুলো কী সিদ্ধান্ত নিচ্ছে। পড়ে যাওয়ার পর উঠে দাঁড়ানোটা সিমুলেটেড নয়, একটি অ্যানিমেশন।

১. একটি পরীক্ষা

প্রযুক্তি এত দ্রুত এগোচ্ছে যে সিমুলেশন এরপর কোথায় যাবে তা কেউ জানে না। এক বছর আগে, একটি ল্যাঙ্গুয়েজ মডেল কথা বলতে পারত। আজ, এটি এক সপ্তাহের পরিকল্পনা করতে পারে, টুল ব্যবহার করতে পারে এবং ঘণ্টার পর ঘণ্টা চলতে পারে। আমরা জানি না এর সীমা কোথায়, তাই আমরা সেটা খুঁজে বের করার চেষ্টা করেছি।

প্রশ্নটা সহজ ছিল: একটি ল্যাঙ্গুয়েজ মডেল কতটা গভীরে যেতে পারে? LifeSim-এর মানুষেরা ইতিমধ্যেই ল্যাঙ্গুয়েজ মডেল দিয়ে চিন্তা করে। তারা ঠিক করে কী করবে, কার সাথে কথা বলবে এবং কোথায় যাবে। এর নিচে, প্রত্যেক গেমে অ্যানিমেশন ব্যবহার করা হয়। যে শরীর হাঁটে, তা আসলে একটি রেকর্ডিং প্লে করে।

আমরা রেকর্ডিংকে একটি শরীর দিয়ে বদলে দিয়েছি। MS-Human-700 [1] হলো ৭০০টি পেশি সহ মানব কঙ্কালপেশি সিস্টেমের একটি ওপেন মডেল, যা MuJoCo [2]-তে সিমুলেটেড। আমরা তাদের দুটিকে একটি দৃশ্যে রেখেছি, আসল ম্যাপ থেকে তৈরি একটি মেঝের ওপর, এবং একটি ল্যাঙ্গুয়েজ মডেলকে দিয়েছি সম্ভাব্য সব সিদ্ধান্ত নেওয়ার ভার। আমরা জানতাম না এটি দাঁড়াতে পারবে কিনা। পেরেছে।

২. স্তরগুলো

আমরা একটি শরীর ও মনের স্তরগুলো কপি করেছি, এবং প্রত্যেকটি স্তর যা একটি ল্যাঙ্গুয়েজ মডেল হতে পারে, তা একটি মডেলকে দিয়েছি (সারণি ১)। শুধু স্পাইনাল কর্ড হলো কোড: এটি “একটু পেছনে হেলান দাও” বা “পা এখানে রাখো”-কে ৭০০টি পেশির টানে পরিণত করে।

সারণি ১: কোন স্তর কে চালায়, এবং কত ঘন ঘন তাকে জিজ্ঞাসা করা হয়। একটি টিক হলো ১০ মিলিসেকেন্ড সিমুলেটেড সময়।
স্তরমানুষের মধ্যেমডেলকত ঘন ঘন
জীবনসারাদিন কী করতে হবেGemma 3 4B [3], আমাদের দ্বারা LifeSim Week-এ GRPO [4] দিয়ে ফাইন-টিউন করাপ্রতি অ্যাক্টিভিটিতে একবার, ~৪ সেকেন্ড
মোটর কর্টেক্স“ওখানে হাঁটো, ধড় শক্ত রাখো”Gemini 3.1 Flash-Liteপ্রতি সেকেন্ডে প্রায় একবার, ~১ সেকেন্ড
ব্রেনস্টেমআপনাকে সোজা রাখেLifeSim-Brainstem-0.1 (আমাদের)দাঁড়ানোর সময় প্রতি টিক-এ ২টি প্রশ্ন
পদক্ষেপের সিদ্ধান্তপরের পা কোথায় পড়বেLifeSim-Step-0.3 (আমাদের)হাঁটার সময় প্রতি টিক-এ ২টি প্রশ্ন
স্পাইনাল কর্ডফিক্সড ওয়্যারিংকোডপ্রতি টিক-এ
পেশিসংকুচিত হওয়াLifeSim-Muscle-0.1 (আমাদের)প্রতি ব্যক্তির জন্য, প্রতি টিক-এ ৭০০টি প্রশ্ন

প্রত্যেকটি স্তর শব্দে কথা বলে। ব্রেনস্টেম পড়ে “ওজন পায়ের মাঝখান থেকে ৩ সেমি সামনে, ৪ সেমি/সেকেন্ড গতিতে এগোচ্ছে” এবং উত্তর দেয় কীভাবে হেলান দিতে হবে। প্রত্যেকটি পেশি মোটর কর্টেক্স থেকে তার শরীরের অঞ্চলের জন্য নির্দেশ এবং স্পাইনাল কর্ড থেকে একটি তাগিদ পড়ে, আর উত্তর দেয় কতটা জোরে সংকুচিত হতে হবে।

অ্যাডাম ও ইভ একে অপরের কথাও জানে। প্রত্যেক লাইফ মডেল দেখে নেয় সঙ্গী কোথায় আছে এবং কী করছে। যখন দুজনের দেখা হয়, Gemini তাদের প্রত্যেকের জন্য একটি করে লাইন লেখে, এবং তারা একটি পরিকল্পনায় রাজি হতে পারে: “পরে কিবাৎসু-তে ডিনার করতে যাবে?” (চিত্র ৩)।

অ্যাডাম ও ইভ পাশাপাশি দাঁড়িয়ে আছে, তাদের পেশি লাল রঙে আঁকা, এবং ডানদিকে তাদের মডেলগুলোর সিদ্ধান্ত তালিকা করা আছে
চিত্র ১: অ্যাডাম ও ইভ কোনো হারনেস ছাড়াই দাঁড়িয়ে আছে। ডানদিকে: পেশি মডেল, ব্রেনস্টেম মডেল এবং Gemini-এর সাম্প্রতিকতম সিদ্ধান্তগুলো।

৩. তিনটি ছোট মডেল

সবচেয়ে নিচের তিনটি স্তর প্রতি ১০ মিলিসেকেন্ডে ১,৪০০টি পর্যন্ত প্রশ্নের উত্তর দেয়, তাই তাদের একটি ছোট মডেল দরকার। আমরা Julia 1 ব্যবহার করেছি, একটি ১৪৪এম-প্যারামিটারের মডেল যা একটি ModernBERT [5] এনকোডার (২২ স্তর, হিডেন সাইজ ৩৮৪) ও একটি ডিসিশন হেড দিয়ে তৈরি, এবং এর তিনটি কপি ফাইন-টিউন করেছি। প্রত্যেকটি কোডে লেখা একজন টিচারের কাছ থেকে শিখেছে: কোড ব্রেনস্টেম, কোড স্টেপ রুল এবং মাসল ফর্মুলা।

সারণি ২: আমাদের তিনটি ফাইন-টিউন। ট্রেনিং থেকে বাদ রাখা ইনপুটের ওপর টিচারের সাথে কোরিলেশন। তিনটিরই ১৪৪,২৯২,৮৭০টি প্যারামিটার আছে।
মডেলসিপিইউ-তে ট্রেনিংবেস Julia 1ফাইন-টিউনড
LifeSim-Brainstem-0.1216 sr = −0.37r = 0.9997
LifeSim-Step-0.3308 sr = 0.24r = 0.9998
LifeSim-Muscle-0.1642 sr = 0.12r = 0.958

হাঁটার জন্য শুধু ট্রেনিং থেকে বাদ রাখা ইনপুটের ওপর উচ্চ কোরিলেশন যথেষ্ট নয়। স্টেপ মডেলটি প্রথমে শুধু সেই পরিস্থিতিগুলো থেকে শিখেছিল যা কোড রুলে ছিল, এবং নিয়ন্ত্রণ পাওয়ার পর এটি শরীরকে এমন পরিস্থিতিতে নিয়ে যায় যা রুলটি কখনো দেখেনি। আমরা এটিকে হাঁটতে দিয়েছি, এটি কী পরিস্থিতির সম্মুখীন হয়েছে তা রেকর্ড করেছি, রুলটিকে জিজ্ঞাসা করেছি যে এটি কী করত, এবং আবার ট্রেইন করেছি (DAgger [6])। হাঁটার সময় টিচারের ৮৩% থেকে বেড়ে ৯২% হয়েছে।

ফাইন-টিউনগুলো ডিটারমিনিস্টিক, তাই একই প্রশ্নে সবসময় একই উত্তর পাওয়া যায়। আমরা প্রত্যেকটি উত্তর রেখে দিই এবং মডেলকে শুধু সেই প্রশ্নগুলোই করি যা এটি আগে দেখেনি। কয়েক সেকেন্ড পর, বেশিরভাগ টিকের জন্য কোনো মডেল কল করারই দরকার হয় না।

৪. ফলাফল

৪.১. দাঁড়ানো

যখন প্রত্যেকটি স্তর একটি ল্যাঙ্গুয়েজ মডেলে চলে, তখন দুটো দেহই কোনো হারনেস ছাড়াই দাঁড়াতে পারে এবং সামনে ও পেছন থেকে ৮০ নিউটন ধাক্কা সামলে নেয়। ২০টি ধাক্কা দেওয়া স্ট্যান্ডের ওপর, ব্রেনস্টেম মডেলটি তার টিচারের মতোই বেশিক্ষণ দাঁড়ায়: ১২.৪ সেকেন্ড বনাম ১২.০ সেকেন্ড।

৪.২. হাঁটা

ওয়াকারটি হলো পেশির ওপর SIMBICON [7]: একটি স্টেপ টাইমার, একটি সুইং লেগ, এবং ওজনের অবস্থান ও গতি থেকে পায়ের স্থান নির্ধারণ। কোনো হারনেস ছাড়াই, শরীরগুলো প্রায় ০.২৫ মি/সেকেন্ড গতিতে লক্ষ্যের দিকে চালিত হয়ে হাঁটে। লাইভ সিমুলেশনে, পড়ে যাওয়ার আগে মধ্যম হাঁটা ১৮টি ধাপ স্থায়ী হয়েছিল, এবং দীর্ঘতমটি ১৩৩টি (চিত্র ২)।

অ্যাডাম ও ইভ নিজেরা হাঁটছে, এবং ডানদিকে স্টেপ মডেলের সিদ্ধান্তগুলো তালিকা করা আছে
চিত্র ২: দুজনেই নিজেরা হাঁটছে। ডানদিকে: LifeSim-Step-0.3 বেছে নিচ্ছে প্রত্যেক পা কোথায় পড়বে।

১২ সেকেন্ডের একটি হাঁটায়, স্টেপ মডেলটি শরীরকে গড়ে ৮.৬ সেকেন্ড সোজা রাখে, যেখানে তাকে শেখানো কোড রুলটি রাখে ৯.৪ সেকেন্ড (২৪টি হাঁটার ওপর ভিত্তি করে)। দাঁড়িয়ে থাকার সময় ছোটখাটো ভুল ক্ষমা করা যায়। হাঁটার সময় যায় না।

৪.৩. গতি

সবকিছু একটি সিপিইউ মেশিনে চলে, কোনো জিপিইউ ছাড়াই। সিমুলেশন মডেলগুলোর জন্য অপেক্ষা করে (“স্লো টাইম”), কারণ ভারসাম্যের জন্য প্রতি ১০ মিলিসেকেন্ডে একটি সিদ্ধান্ত দরকার। প্রত্যেকটি মডেল সহ দুটো দেহই ০.২৫ থেকে ০.৫× রিয়াল টাইমে চলে, এবং যখন দুটোই আঁকা হয় তখন ০.১২ থেকে ০.১৮× গতিতে চলে।

৪.৪. LifeSim-এ

এই একই দুজন LifeSim ম্যাপে উপস্থিত হয়, তাদের চাহিদা, তাদের পরিকল্পনা এবং তারা একে অপরকে কী বলে তা সহ (চিত্র ৩)।

প্যালেস অফ ফাইন আর্টসে 3D LifeSim ম্যাপে অ্যাডাম ও ইভ, বামদিকে তাদের চাহিদা ও পরিকল্পনা সহ
চিত্র ৩: প্যালেস অফ ফাইন আর্টসে LifeSim ম্যাপে অ্যাডাম ও ইভ। বামদিকে: তাদের চাহিদা, তাদের পরিকল্পনা এবং তারা কী বলেছিল। নিচে ডানদিকে: তাদের শরীর, লাইভ।

৫. আমরা যা শিখলাম

  • শব্দের মধ্যে সংখ্যা থাকতে হবে। “সামনে একটু হেলান” ভারসাম্য রাখার জন্য খুব অস্পষ্ট: শরীর ৩ থেকে ৬ সেকেন্ডের মধ্যে পড়ে যাচ্ছিল। “ওজন পায়ের মাঝখান থেকে ৩ সেমি সামনে, ৪ সেমি/সেকেন্ড গতিতে এগোচ্ছে” এটিকে সোজা রাখে।
  • মস্তিষ্কের শব্দ পেশির রেজোলিউশন ঠিক করে দেয়। “স্থির হয়ে দাঁড়াও” নির্দেশের অধীনে, পেশি মডেল প্রায় ১৫% ধাপের ব্যবধানে উত্তর দেয়। “সূক্ষ্ম নিয়ন্ত্রণে স্থির থাকো” নির্দেশের অধীনে, ধাপগুলো প্রায় ১০% হয়, এবং শুধুমাত্র তখনই শরীর সামনে থেকে আসা ধাক্কা সামলাতে পারে।
  • পেশি মোটর নিউরনের মতো কাজ করে। পেশি মডেলটি বড় বড় ধাপে উত্তর দেয়। ফায়ারিং রেটের মতো, এক টিক থেকে অন্য টিকে পাশাপাশি ধাপগুলোর মধ্যে অদলবদল করলে হাঁটার সময় প্রায় ৫০% বেড়ে যায়।
  • হাঁটা বিশৃঙ্খল। একটি গেইনকে দশ লাখে এক ভাগ পরিবর্তন করলে হাঁটার সময় এক-তৃতীয়াংশ বদলে যায়। একটি রান কিছুই প্রমাণ করে না, তাই এখানকার প্রত্যেকটি হাঁটার সংখ্যা ১২ বা তার বেশি হাঁটার গড়।

৬. যা এখনও কাজ করে না

  • থামা। একটি হাঁটা শরীরকে দাঁড়ানোর ভারসাম্যের দায়িত্বে দিলে তা এক সেকেন্ডের মধ্যে পড়ে যায়: ২০টি চেষ্টার মধ্যে ০টি দাঁড়াতে পেরেছিল। পৌঁছানোর পর, শরীরটি একটি দাঁড়ানো ভঙ্গিতে ব্লেন্ড হয়ে যায়। এটি একটি অ্যানিমেশন, এবং আমরা সেভাবেই এটিকে লেবেল করি।
  • উঠে দাঁড়ানো। পড়ে যাওয়ার পর, শরীরটি এক সেকেন্ডের মধ্যে আবার দাঁড়ানো অবস্থায় ব্লেন্ড হয়ে ফিরে আসে। এটিও একটি অ্যানিমেশন।
  • অন্যান্য গতি। শুধুমাত্র যে গতিতে ওয়াকারটি টিউন করা হয়েছিল, সেটিই কাজ করে।
  • আরও টিউনিং। তিনটি সার্চ পদ্ধতি (ইভোলিউশন, CMA-ES এবং অগমেন্টেড র্যান্ডম সার্চ) ওয়াকারটিকে উন্নত করতে পারেনি। একটি আরও মজবুত ওয়াকারের জন্য একটি হোল-বডি কন্ট্রোলার, অথবা একটি জিপিইউ-তে রিইনফোর্সমেন্ট লার্নিং দিয়ে ট্রেইন করা একটি পলিসি প্রয়োজন।

৭. আমরা কেন এটি চেষ্টা করেছি

আমরা সেরা ওয়াকার বানানোর জন্য এটা শুরু করিনি। রিইনফোর্সমেন্ট লার্নিং আরও ভালো ওয়াকার বানায়। আমরা দেখতে চেয়েছিলাম যে এক ধরনের মডেল “আজ সন্ধ্যায় কী করব” থেকে শুরু করে “কোন পেশি কতটা জোরে টানবে” পর্যন্ত পৌঁছাতে পারে কিনা। এটি পারে, মাঝখানে কোডের কয়েকটি লাইনের সাহায্যে। ছোট ওপেন মডেল, যা সিপিইউ-তে কয়েক মিনিটে ফাইন-টিউন করা যায়, তারাই বেশিরভাগ স্তর সামলাতে পারে।

আমরা এখনও জানি না এটা কীসের জন্য। হয়তো LifeSim-এর মানুষেরা নড়াচড়া করবে কারণ তারা সিদ্ধান্ত নিয়েছে, কোনো অ্যানিমেশন চলার কারণে নয়। হয়তো কোনো কিছুর জন্যই নয়। প্রযুক্তি এত দ্রুত এগোচ্ছে যে কিছু বলা মুশকিল, আর সেই কারণেই এই ধরনের জিনিস এখন চেষ্টা করা এবং আমরা যা খুঁজে পাই তা শেয়ার করা উচিত।

৮. ভবিষ্যৎ পরিকল্পনা

সবচেয়ে আশাব্যঞ্জক ফল হলো, কথা শরীরের ওপর প্রভাব ফেলে: “সূক্ষ্ম নিয়ন্ত্রণের সাথে স্থির থাকো” নির্দেশটি পেশিকে “স্থির থাকো” নির্দেশের চেয়ে আরও সূক্ষ্মভাবে কাজ করার ক্ষমতা দিয়েছে, আর একমাত্র তখনই শরীরটা সামনের ধাক্কা সামলে নিতে পেরেছিল। পরবর্তী পরীক্ষায় আমরা দেখব, একই শরীর বিভিন্ন নির্দেশে কেমন সাড়া দেয়, যেমন “ক্লান্ত মানুষের মতো হাঁটো”, “ধাক্কা সামলানোর জন্য তৈরি হও” বা “আরাম করো”। একটি কোড কন্ট্রোলার এই ধরনের নির্দেশ বুঝতে পারে না, কিন্তু একটি ল্যাঙ্গুয়েজ মডেল পারে।

তথ্যসূত্র

  1. জুও, সি., হে, কে., শাও, জে., সুই, ওয়াই. সেলফ মডেল ফর এমবডিড ইন্টেলিজেন্স: মডেলিং ফুল-বডি হিউম্যান মাস্কুলোস্কেলেটাল সিস্টেম অ্যান্ড লোকোমোশন কন্ট্রোল উইথ হায়ারার্কিক্যাল লো-ডাইমেনশনাল রিপ্রেজেন্টেশন। ICRA, 2024।
  2. তোডোরভ, ই., এরেজ, টি., তাসসা, ওয়াই. মুজোকো: এ ফিজিক্স ইঞ্জিন ফর মডেল-বেসড কন্ট্রোল। IROS, 2012।
  3. জেমা টিম। জেমা ৩ টেকনিক্যাল রিপোর্ট। arXiv:2503.19786, 2025।
  4. শাও, জেড., ওয়াং, পি., ঝু, কিউ., জু, আর., সং, জে., প্রমুখ। ডিপসিকম্যাথ: পুশিং দ্য লিমিটস অফ ম্যাথেম্যাটিক্যাল রিজনিং ইন ওপেন ল্যাঙ্গুয়েজ মডেলস। arXiv:2402.03300, 2024।
  5. ওয়ার্নার, বি., চ্যাফিন, এ., ক্লাভিয়ে, বি., ওয়েলার, ও., হলস্ট্রোম, ও., প্রমুখ। স্মার্টার, বেটার, ফাস্টার, লংগার: এ মডার্ন বাইডিরেকশনাল এনকোডার ফর ফাস্ট, মেমরি এফিশিয়েন্ট, অ্যান্ড লং কনটেক্সট ফাইনটিউনিং অ্যান্ড ইনফারেন্স। arXiv:2412.13663, 2024।
  6. রস, এস., গর্ডন, জি. জে., ব্যাগনাল, জে. এ. এ রিডাকশন অফ ইমিটেশন লার্নিং অ্যান্ড স্ট্রাকচারড প্রিডিকশন টু নো-রিগ্রেট অনলাইন লার্নিং। AISTATS, 2011।
  7. ইন, কে., লোকেন, কে., ভ্যান ডি প্যান, এম. SIMBICON: সিম্পল বাইপেড লোকোমোশন কন্ট্রোল। ACM SIGGRAPH, 2007।

সাইটেশন

এই কাজটি নিম্নোক্তভাবে উদ্ধৃত করুন:

@misc{lifesim2026adamandeve,
  title  = {Adam & Eve: 700 LLM-Controlled Muscles via Fine-Tuned Decision Models},
  author = {{Cris Lenta}},
  year   = {2026},
  month  = {oct},
  url    = {https://lifesim.com/research/adam-and-eve}
}