亚当与夏娃：700块由LLM驱动的肌肉，通过微调决策模型实现控制

1. 一项实验

技术发展日新月异，没人知道模拟技术的下一个方向。一年前，语言模型可以进行对话。如今，它能规划一周、使用工具并运行数小时。我们不知道极限在哪里，所以我们尝试去寻找它。

问题很简单：语言模型到底能深入到什么程度？LifeSim 的角色已经在用语言模型思考，决定做什么、和谁交谈、去往何处。在此之下，所有游戏都使用动画：一个行走的身体，不过是在播放一段录像。

我们用一个真实的身体模型取代了录像。MS-Human-700 [1] 是一个开源的人体肌肉骨骼系统模型，拥有 700 块肌肉，在 MuJoCo [2] 中进行模拟。我们将两个这样的模型置于同一场景中，脚踩根据真实地图制作的地面，并把我们能给的所有决策都交给了语言模型。我们不知道它能否站立。结果它做到了。

2. 层级结构

我们复制了身心的层级结构，并将每个能由语言模型承担的层级都交给了一个模型（见表 1）。只有脊髓部分是代码：它将“稍微后仰”或“把脚放在这里”的指令转化为 700 块肌肉的收缩。

每个层级都用语言交流。脑干读取“重心在双脚中心前方 3 厘米处，正以 4 厘米/秒的速度前移”，然后回答如何调整姿态。每块肌肉读取运动皮层对其所在身体区域的指令和脊髓发出的冲动，然后回答收缩的力度。

亚当和夏娃也知道彼此的存在。每个生活模型都会读取伴侣的位置和动向。当两人相遇时，Gemini 会为他们各生成一句话，他们可以商定计划：“待会儿想去 Kibatsu 吃晚饭吗？”（图 3）。

3. 三个小型模型

最低的三个层级每 10 毫秒要回答多达 1400 个问题，因此需要一个小型模型。我们使用了 Julia 1，一个基于 ModernBERT [5] 编码器（22 层，隐藏层大小 384）并带有决策头的 1.44 亿参数模型，并微调了三个副本。每个副本都从一个用代码编写的“老师”那里学习：代码实现的脑干、步态规则和肌肉公式。

在未见过的输入上获得高相关度并不足以让模型学会走路。步态模型最初只从代码规则遇到的情况中学习，一旦由它控制，它就会把身体带入代码规则从未见过的新情境。我们让它行走，记录它遇到的情况，询问代码规则会怎么做，然后再次训练（DAgger [6]）。行走时间达到了“老师”水平的 92%（从 83% 提升）。

这些微调模型是确定性的，因此同样的问题总能得到同样的答案。我们缓存每个答案，只向模型提问它未见过的问题。几秒钟后，大多数“滴答”根本不需要调用模型。

4. 结果

4.1. 站立

在每一层都由语言模型控制的情况下，两个身体都能在无保护装置下站立，并能从正面和背后的 80 牛推力中恢复平衡。在 20 次受推站立测试中，脑干模型坚持站立的时间与它的“老师”相当：12.4 秒对 12.0 秒。

4.2. 行走

行走控制器是基于肌肉实现的 SIMBICON [7]：一个步长计时器、一个摆动腿控制器，以及一个根据重心位置和速度决定落脚点的控制器。在无保护装置的情况下，身体以约 0.25 米/秒的速度行走，并朝目标转向。在实时模拟中，两次摔倒之间的中位行走步数为 18 步，最长的一次为 133 步（图 2）。

在 12 秒的行走测试中，步态模型平均能让身体保持直立 8.6 秒，而教它的代码规则是 9.4 秒（24 次行走测试结果）。站立可以容忍小错误，但行走不行。

4.3. 速度

所有运算都在一台没有GPU的CPU设备上进行。模拟过程会等待模型（“慢时间”），因为保持平衡需要每10毫秒做出一次决策。在每个模型下，两个身体都以0.25到0.5倍的实时速度运行，当两者同时被渲染时，速度为0.12到0.18倍。

LifeSim 评分 4.4

这两个人也出现在LifeSim地图上，连同他们的需求、计划和彼此的对话（图3）。

5 主要发现

• 语言指令需要量化。“稍微前倾”这个指令对于保持平衡来说太模糊了：身体在3到6秒内就会摔倒。而“重心位于双脚中心前方3厘米处，并以4厘米/秒的速度向前移动”的指令才能让身体保持站立。
• 大脑的指令决定肌肉的精细度。在“站立不动”的指令下，肌肉模型以大约15%的步长响应。在“精细控制以保持稳定”的指令下，步长约为10%，只有这样身体才能在受到正面推搡后保持不倒。
• 肌肉的工作方式类似运动神经元。肌肉模型以粗略的步长响应。像放电频率一样，在每个时间点于相邻步长间交替，可以让行走持续时间延长约50%。
• 行走是混沌的。将一个增益参数改变百万分之一，行走持续时间就会改变三分之一。单次运行说明不了问题，因此这里所有的行走数据都是12次或更多次行走的平均值。

6 尚待完善之处

• 停止。将一个正在行走的身体模型转为站立平衡状态，它会在一秒内摔倒：20次尝试无一成功。抵达目的地时，身体会平滑过渡到一个站立姿势。这是一个动画，我们也如此标注。
• 起身。摔倒后，身体会在一秒内平滑过渡恢复站姿。这也是一个动画。
• 其他速度。只有步行者被调校时使用的速度才有效。
• 进一步调校。三种搜索方法（进化算法、CMA-ES和增强随机搜索）都未能改进该步行者模型。要使其更稳健，需要一个全身控制器，或一个在GPU上通过强化学习训练出的策略。

7 我们的初衷

我们并非想打造出最强的步行者模型，强化学习能做出更好的。我们想探究的是，单一类型的模型能否贯通从“我今晚做什么”到“哪块肌肉该用多大力”的整个决策链。答案是可以的，只需中间几行代码的辅助。在CPU上花几分钟微调的小型开源模型，就能承担大部分层级的任务。

我们尚不清楚这有何用途。也许能让LifeSim中的角色自主决定如何移动，而非播放预设动画。也许毫无用处。科技发展日新月异，未来难以预料，这正是我们现在要进行此类尝试并分享发现的原因。

8 未来工作

最有前景的发现是，语言指令可以改变身体：“精细控制以保持稳定”的指令赋予了肌肉比“站立不动”更高的精细度，也只有这样身体才能在受到正面推搡后保持不倒。下一个实验是展示同一个身体对不同指令的反应，例如“走得有气无力”、“准备好迎接推搡”或“放松”。代码控制器无法理解这类指令，但语言模型可以。