Adem ve Havva: Hassas Ayarlı Karar Modelleriyle 700 LLM Kontrollü Kas

1 Bir Deney

Teknoloji o kadar hızlı ilerliyor ki, simülasyonun bir sonraki adımda nereye gideceğini kimse bilmiyor. Bir yıl önce, bir dil modeli sohbet edebiliyordu. Bugün, bir hafta planlayabilir, araçları kullanabilir ve saatlerce çalışabilir. Sınırın nerede olduğunu bilmiyoruz, bu yüzden onu bulmaya çalıştık.

Soru basitti: bir dil modeli ne kadar derine inebilir? LifeSim'in insanları zaten dil modelleriyle düşünüyor. Ne yapacaklarına, kiminle konuşacaklarına ve nereye gideceklerine karar veriyorlar. Bunun altında, her oyun animasyon kullanır. Yürüyen bir vücut, bir kaydı oynatan bir vücuttur.

Kaydı bir vücutla değiştirdik. MS-Human-700 [1], 700 kaslı insan kas-iskelet sisteminin açık bir modelidir ve MuJoCo [2]'da simüle edilmiştir. İkisini gerçek haritadan yapılmış bir zemine, tek bir sahneye koyduk ve verebildiğimiz her kararı bir dil modeline verdik. Ayakta durup durmayacağını bilmiyorduk. Durdu.

2 Katmanlar

Bir vücudun ve bir zihnin katmanlarını kopyaladık ve dil modeli olabilecek her katmanı birine verdik (Tablo 1). Sadece omurilik koddur: “biraz geriye yaslan” veya “ayağı buraya koy”u 700 kas çekişine dönüştürür.

Her katman kelimelerle konuşur. Beyin sapı “ağırlık ayakların ortasından 3 cm önde, 4 cm/s hızla ileri doğru hareket ediyor”u okur ve nasıl yaslanacağını yanıtlar. Her kas, motor korteksten vücut bölgesinin çizgisini ve omurilikten bir dürtüyü okur ve ne kadar sert kasılacağını yanıtlar.

Adam ve Eve birbirlerini de tanıyorlar. Her yaşam modeli, partnerin nerede olduğunu ve ne yaptığını okur. İkisi buluştuğunda, Gemini her biri için bir satır yazar ve bir plan üzerinde anlaşabilirler: “daha sonra Kibatsu'da akşam yemeği yemek ister misin?” (Şekil 3).

3 Üç Küçük Model

En alttaki üç katman her 10 ms'de 1.400'e kadar soruyu yanıtlar, bu yüzden küçük bir modele ihtiyaç duyarlar. ModernBERT [5] kodlayıcısı (22 katman, gizli boyut 384) üzerine inşa edilmiş, karar başlığına sahip 144M parametreli bir model olan Julia 1'i kullandık ve üç kopyasını ince ayarladık. Her biri kodla yazılmış bir öğretmenden öğrendi: kod beyin sapı, kod adım kuralı ve kas formülü.

Tutulan girdilerde yüksek bir korelasyon yürümek için yeterli değildir. Adım modeli ilk önce sadece kod kuralının karşılaştığı durumlardan öğrendi ve kontrolü ele geçirdikten sonra vücudu kuralın hiç görmediği durumlara soktu. Yürümesine izin verdik, karşılaştığı şeyleri kaydettik, kurala ne yapacağını sorduk ve tekrar eğittik (DAgger [6]). Yürüme süresi öğretmenin %83'ünden %92'sine yükseldi.

İnce ayarlar deterministiktir, bu nedenle aynı soru her zaman aynı cevabı alır. Her cevabı saklarız ve modele sadece görmediği soruları sorarız. Birkaç saniye sonra, çoğu tikte model çağrısına hiç gerek kalmaz.

4 Sonuçlar

4.1 Ayakta Durma

Her katman bir dil modelinde olduğunda, her iki vücut da desteksiz ayakta durur ve önden ve arkadan gelen 80 N'lik itişlerden kurtulur. 20 itişli duruşta, beyin sapı modeli öğretmeni kadar uzun süre ayakta durur: 12.0 saniyeye karşı 12.4 saniye.

4.2 Yürüme

Yürüyüşçü kaslar üzerinde SIMBICON [7]'dur: bir adım zamanlayıcı, bir sallanan bacak ve ağırlığın konumundan ve hızından ayak yerleşimi. Desteksiz olarak, vücutlar yaklaşık 0.25 m/s hızla yürür, hedefe doğru yönelir. Canlı simülasyonda, medyan yürüyüş düşmeler arasında 18 adım sürdü ve en uzunu 133 (Şekil 2).

12 saniyelik bir yürüyüşte, adım modeli vücudu ortalama 8.6 saniye ayakta tutar, onu öğreten kod kuralı için bu süre 9.4 saniyedir (24 yürüyüş). Ayakta durma küçük hataları affeder. Yürüme affetmez.

4.3 Hız

Her şey tek bir CPU makinesinde, GPU olmadan çalışır. Simülasyon modelleri bekler (“yavaş zaman”), çünkü denge her 10 ms'de bir karar gerektirir. Her iki vücut da her modelle gerçek zamanın 0.25 ila 0.5 katı hızda çalışır ve ikisi de çizilirken 0.12 ila 0.18 katı hızda çalışır.

4.4 LifeSim'de

Aynı iki kişi LifeSim haritasında, ihtiyaçları, planları ve birbirlerine söyledikleriyle görünür (Şekil 3).

5 Öğrendiklerimiz

• Kelimeler sayıları taşımalıdır. “Biraz öne eğilmek” dengeyi sağlamak için çok belirsizdir: vücut 3 ila 6 saniyede düştü. “Ağırlık ayakların ortasından 3 cm önde, 4 cm/s hızla ileri doğru hareket ediyor” onu ayakta tutar.
• Beynin kelimeleri kasların çözünürlüğünü belirler. “Sakin dur” altında, kas modeli yaklaşık %15'lik adımlarla yanıt verir. “İnce kontrolle sabit tut” altında, adımlar yaklaşık %10'dur ve ancak o zaman vücut önden gelen bir itişten kurtulur.
• Kaslar motor nöronlar gibi çalışır. Kas modeli kaba adımlarla yanıt verir. Tikten tika komşu adımlar arasında geçiş yapmak, bir ateşleme hızı gibi, yürüyüşlerin yaklaşık %50 daha uzun sürmesini sağlar.
• Yürüme kaotiktir. Bir kazancı milyonda bir değiştirmek, yürüme süresini üçte bir oranında değiştirir. Tek bir deneme hiçbir şeyi kanıtlamaz, bu yüzden buradaki her yürüme sayısı 12 veya daha fazla yürümenin ortalamasıdır.

6 Henüz Çalışmayanlar

• Durma. Ayakta dengeye bırakılan yürüyen bir vücut bir saniye içinde düşer: 20 denemenin 0'ı ayakta durabildi. Varışta, vücut ayakta durma pozuna geçer. Bu bir animasyondur ve biz de öyle etiketleriz.
• Ayağa kalkma. Bir düşüşten sonra, vücut bir saniye içinde tekrar ayakta durma pozuna geçer. Bu da bir animasyondur.
• Diğer hızlar. Sadece yürütecin ayarlandığı hız çalışır.
• Daha fazla ayarlama. Üç arama yöntemi (evrim, CMA-ES ve Artırılmış Rastgele Arama) yürüteci geliştiremedi. Daha sağlam bir yürüteç için tüm vücut kontrolcüsü veya bir GPU'da takviyeli öğrenme ile eğitilmiş bir politika gerekir.

7 Neden Denedik

En iyi yürüteci inşa etmeyi hedeflemedik. Takviyeli öğrenme daha iyilerini yapar. Bir model türünün "bu akşam ne yapmalıyım"dan "hangi kas ne kadar sert çekiyor"a kadar ulaşabileceğini görmek istedik. Ortadaki birkaç satır kodun yardımıyla bunu yapabilir. Dakikalar içinde bir CPU'da ince ayar yapılmış küçük açık modeller, katmanların çoğunu alabilir.

Bunun ne işe yaradığını henüz bilmiyoruz. Belki LifeSim'deki insanlar, bir animasyon oynadığı için değil, karar verdikleri için hareket ederler. Belki de hiçbir şey. Teknoloji o kadar hızlı ilerliyor ki, bunu şimdi denemenin ve bulduklarımızı paylaşmanın nedeni budur.

8 Gelecek Çalışmalar

En umut verici sonuç, kelimelerin vücudu değiştirmesidir: "ince kontrolle sabit dur" kaslara "sabit dur"dan daha ince bir çözünürlük verdi ve ancak o zaman vücut önden gelen bir itmeyi atlattı. Bir sonraki deney, aynı vücudun "yorgun gibi yürü", "bir itmeye hazırlan" veya "rahatla" gibi farklı kelimelere tepki verdiğini göstermektir. Bir kod denetleyicisi böyle bir talimatı alamaz. Bir dil modeli alabilir.