“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化

徐梦迪今年 30.5 岁。这个精确到小数点的回答，很 INTJ。她是清华交叉信息研究院助理教授，河北衡水人，衡水中学竞赛班学物理，清华车辆工程本科，CMU 机械工程博士，斯坦福李飞飞、吴佳俊组博士后，2024 年初回国。她研究的方向叫 in-context learning：机器人到一个新环境，看一两次示范，当场学会新任务，而且越学越快。

这期播客录完第二周，Generalist 发布 GEN-1.5。给机器人看一段 3 到 12 秒的动作示范，当作 physical prompt，不做微调，不更新参数，机器人当场尝试新任务，10 项任务平均成功率约 59%。ICL 从论文里的概念变成行业热搜。徐梦迪押注这个方向已经五年。

81 分钟里，她讲了预训练的天花板、真正的泛化、Scaling Law 的信号与陷阱、数据闭环的鸡生蛋难题，也讲了怎么选导师、怎么回套磁邮件、为什么年轻 AP 带博士像创业。以下是我替她整理的精读。

从四驱车到蛇形机器人 2:31

徐梦迪本科在清华车辆工程。这个专业学得很杂，机械设计、汽车电子、算法都会碰，和电子专业的学生交叉很多。她后来转到机器人，起点是大二跟着机械系一位做仿生机器人的老师做科研。题目研究蜜蜂翅膀的超弹性恢复：蜜蜂采蜜时翅膀频繁碰撞周围环境，却不容易损坏，结构里有超弹性在起作用。

大三暑假，她去了 CMU Howie Choset 的组。这个组做仿生机器人很有名，她设计了一条蛇形机器人，让蛇去爬管子。从设计到算法，转型就是在这个过程中慢慢发生的。更早的种子在小学。她喜欢拼四驱车，看《四驱兄弟》，觉得机械结构很酷：很小的零件组装到一起，背后是很多代工匠积累的精密知识。当时买零件烧钱，几个小朋友放学路上捡钢铁零件去卖，居然也能赚到钱。她后来选车辆工程，和这段经历有关。

衡水中学给外界的印象是精确到分钟的作息。徐梦迪在竞赛班，体验不太一样。高一第一学期结束，老师做意向调研，她在数学和物理里选了物理，觉得物理更贴近现实世界。竞赛生的主业就是学竞赛，寒暑假都在集训，高三下学期才并回高考班。她说这有点像创业，破釜沉舟。班里的竞争关系不强，教练引导得好，大家更像抱团解题的战友。

她不太愿意称自己学霸。出国之后见到很多厉害的人，有人把精力放在学业上，有人放在自己更感兴趣的事情上。总结自己的成长，她用的词是幸运：每个阶段都有朋友、老师、mentor 支撑。一个人成长成什么样子，一部分靠自己，一部分靠选择的环境，环境会反过来影响你。

预训练不是全部 12:02

在 CMU，徐梦迪的博士论文叫《Building Adaptable Generalist Robots》，拿了系里的最佳博士论文奖，那一届一年两个人。论文想解决的问题是：机器人到了部署环境，一定要适应当地的变化。现实环境是开放世界，家里今天有 20 个物体，一周后变成 30 个，种类也不同；不同人的偏好也在变。预训练很有用，她相信 Scaling，但不能寄希望于机器人只靠预训练就百分百成功。

她探索了两条路线。第一条是 in-context learning。2021 年她做 Prompt Decision Transformer，动机来自 GPT-3：模型可以通过 prompt 改变输出，不需要在部署环境重新训练。她给机器人模型一段 demonstration，让它适应不同的 locomotion 和 manipulation 任务。第二条是 test-time training，代表作 Hyper Decision Transformer。部署时改一部分参数，风险是改多了会忘掉预训练知识。她的折中办法是让模型先学一个 hyper network，把元知识注入进去，再由它生成一个很小的 adapter，只占整体 Transformer 参数的 0.5%。

两条路线里，她更看好 ICL。参数不动，或者等模型见过足够多任务之后再做 batch 更新，效率更高。沿着 ICL 后来出现了不少工作。她提到 Algorithm Distillation，这篇工作的主张是模型参数应该等价于一个 RL 算法：把次优轨迹放进 context window，让模型根据过去不好的动作调整未来动作，模型就有了自我提升的能力。这类工作在模拟器里的 navigation、locomotion 上效果不错，manipulation 仍然难。

为什么 adaptation 到现在才变成共识？徐梦迪的解释是，人的泛化能力来自两件事：很强的先验知识，和学得很快。过去主流做法是 scale 数据、scale 模型，让多任务能力和指令跟随能力变强，相当于先把先验堆够。堆先验当然重要，实际部署时的适应能力同样重要。这里有个前提：base model 要足够强。机器人到了新场景，如果学习过程很可怕，比如把杯子打碎，用户不会给它机会。先验和适应要一起做，基模够强，适应才安全。

解题人变成出题人 23:51

博士后阶段，徐梦迪在斯坦福跟李飞飞和吴佳俊，做了三个她比较满意的工作。第一个是 BEHAVIOR benchmark，飞飞组投入很多时间，用仿真搭出家用和学校场景，开源大量 asset，想回答「机器人到底应该解决什么任务」。她参与生成数据集，提出一种生成双臂移动操作仿真数据的方法。第二个是让机器人更 steerable，能跟随更多样的语言指令，适应不同人的偏好，发表了两篇工作。第三个是创造性工具使用 benchmark。

这个 benchmark 的起点是一个观察：人用工具，依据的是功能，不是名字。想切蛋糕，手边没有刀，叉子、筷子都能用；想扫桌子，没有扫帚，一本书、甚至小臂也能扫。研究里把这种功能叫 affordance。团队采集了大量一三视角对齐的人类创造性使用工具数据，从三个维度评估：多模态大模型挑选工具、生成工具使用轨迹的能力；场景的三维、四维重建能力，因为切蛋糕涉及柔性物体，水、蛋糕这类可变形物体的重建很难；现有方法能不能把人的灵巧工具使用迁移到机器人身上。

两位导师风格不同。李飞飞更 vision driven，会把她从单个项目、单个 benchmark 里拉出来，问未来十年甚至更远，这个领域真正重要的问题是什么，你在这个领域应该扮演什么角色。定 metric 时，团队想加 progress 成功率、时间等细指标，李飞飞问：这些 metric 哪个真正重要？最后只有 final success rate 重要，其他指标是开发时用的，从最终愿景看并不重要。她引了爱因斯坦那句话，把事情变得简单，而不是更简单。

吴佳俊更 hands-on。project 做什么、细节怎么设计，都可以讨论。徐梦迪迷茫时，他会推着她去做真正能建立 research brand 的工作。所谓 research brand，她的理解是从兴趣出发，找一个愿意研究十年甚至更远的问题。有人觉得 brand 要和别人不一样，这不是本质。一个问题研究三年五年，本身就成了你的 research brand。

2023 年她回国面试清华交叉信息研究院，和院系老师聊，也和姚期智聊。姚期智给她的建议是 focus：真正重要的问题没有几个，一个人的时间非常有限，摊到太多事情上，结果不会好。面试里有一位老师问她：你为什么觉得五年之后一定能成为自己领域的顶尖研究者？她当时回答得很自信，说一定可以。后来她觉得这个回答不好。更好的回答是：如果找到一个真正感兴趣的 topic，比如让机器人进入千家万户，同时在真实环境里不断提升自己，沿着正确的道路研究五年，结果不会差。

如果我沿着这条正确的道路研究五年，我觉得我一定不会差的。

工业界和学术界之间，她想了很久。她在 Google 实习了很长时间，体验很好，工业界资源多，一个想法更容易 scale up。学术界资源有限，自由度更高。她最看重自由度，希望时间最大化分配到重要问题上，也希望对机器人系统有整体理解，大脑和硬件都碰。选环境时，她看的是「最适合」，未必是「最好」。一个环境能不能让她的能力翻倍，像游戏通关一样不断升级。判断之前，信息采集很重要：找朋友 connect，不行就发邮件。研究者大多热心，只要 request 表达清楚，大家愿意帮忙。她自称 i 人，办法是给自己定 protocol，比如邮件先自己写初稿，再让 AI polish，变得更礼貌、更合适。

套磁邮件也是同理。明显是纯 AI 写的，她不回。诚意体现在两点：对领域有了解，兴趣能落到实际工作上。只有兴趣、没有落实的链路，说明想法还不够。有想法的学生，她愿意多聊一步。

进步和泡沫可以同时为真 44:44

回国一年多，徐梦迪见了很多具身领域的 researcher 和创业者。她的判断是：实际进步很多，泡沫也存在，两件事不互斥。材料、传感器、本体、数据、模型，每个层面都有国内公司在推进，资源在往里投，长远看乐观。泡沫来自行业还没收敛，大家沿着不同 bias 前进，焦点会变。去年聊数据，上半年聊世界模型，最近又回到数据。她用控制里的「超调」打比方：PID 参数没调好，系统会震荡。焦点来回摆，本身是大家在反复思考什么才是真正重要的问题。

数据和世界模型看的是不同层面。具身数据稀缺，数据决定模型能看到什么。世界模型更关注 representation，关注模型对世界的理解，和 VLA 那种任务相关的路线不一样。她相信世界模型，因为任务是很难 scalable 的，任务太多，穷举不完；世界模型学的是世界变化的规律，更 fundamental。

美国她关注 Physical Intelligence、Google、NVIDIA，也看 Generalist、Roda 这类初创公司，Roda 最近在做 in-context learning 的尝试。国内她提到凌波，近期的工作也在沿 ICL 路线走。

问她有没有看到 Scaling Law 的信号，她说看到了一些，来自其他公司：预训练数据从 10 万小时 scale 到 100 万小时，在 held-out 的测试集上有效果。但机器人有个 tricky 的地方：loss 和成功率不直接挂钩。拿杯子一共 20 步，前 17 步手都没碰到杯子，拟合得很好；第 18 步真正接触时误差大，任务就失败。时序上的不平衡，让低 loss 不等于高成功率。真正有意义的 Scaling Law，应该展示数据变多、模型变大之后，没见过的任务上成功率逐步升高。

机器人会有自己的 GPT moment 吗？她觉得会有。现在主流具身模型是预训练加 target domain fine-tuning，像语言模型的 GPT-1 阶段。她希望走到 GPT-3 时刻：通过 ICL 和 prompting 给模型任务信息，不改参数，fine-tuning 的比重降下来，普通人也用得起来。benchmark 仍然重要。具身智能有身体，评估不能只看成功率，还要看失败情况、风险情况，提前告诉开发者和用户能力边界。她推荐 BEHAVIOR，任务长程，家用场景多，物体布置丰富，缺点是 sim-to-real gap。仿真只是一种环境，从模型能力角度看仍然有价值。

黄仁勋认为具身的发展会对应语言模型的几个阶段，她总体认可。不一样的地方有两点。安全要往前放，部署前需要类似 stress test 的环节，这比语言模型更急迫。机器人的 context 更多样，有身体，能观测周围环境，context 的含义更丰富。还有实时性。语言模型 20 分钟回一个答案，用户可以等；机器人不行，一秒钟没反应，人就想去拍一拍它。

机器人能懂你家吗 56:04

徐梦迪最近一两个月最重要的工作，是沿 ICL 路线往前推。她用叠衣服解释 ICL 在具身里的含义。demo 里的机器人把衣服叠成方块，隐含假设是每个人家里的衣服都叠成方块。真实情况不是这样。她用胶囊衣橱，衣服卷起来；有人按固定颜色摆放；有人根本不叠，挂起来。她希望机器人到她家之后，她告诉机器人：你看，我的衣服是这么叠的。换一个人，机器人又能按那个人的偏好改变行为。ICL 要让终端用户能定义模型的行为。

再比如做菜。机器人不会做某道菜，人给它演示一下。这样的场景见多了，最开始 adapt 可能需要半小时，慢慢降到 10 分钟，甚至更少。模型训练的是快速学习新任务的能力，部署到更多家庭、更多服务场景之后，学习能力会被不断强化，越学越快。她相信 ICL 是让模型 scale up 的方式。

最难的点是稳定的数据闭环。机器人要进入终端家庭或服务场景，要有合适的 mentor 教它做事，还要让用户在教了半小时之后看到明显进展，用户才愿意继续用，数据闭环才转得起来。这里有鸡生蛋的问题：base model 要足够好，学习速度才够快；模型又需要先进入场景，让用户用起来，base 能力才会被激发。这个循环能不能跑通，是最 risky 的地方。目前她们跑通的是简单桌面任务：人有修正指示，机器人根据修正和 demo 改变行为。实验在真机上进行，双臂平台加灵巧手，最终目标是全身灵巧操作。

这和离线模仿学习有什么区别？模仿学习把模型当成任务记忆模块，用专家数据做监督学习。模型见过桌上物块的 10 个位置，给它一个新的、在相关范围内的位置，它可以靠内插泛化解决。它没有学习新任务的能力。ICL 要让模型看到更丰富的数据：次优轨迹、人的身体姿态、语言修正指示、人类 demo、机器人 demo。这些离线数据能激发出不同能力，超过只模仿专家 demonstration 能赋予的能力。

交叉信息研究院里，许华泽、高阳、陈建宇等助理教授在创业领域很活跃。大家私下都忙，很难全部坐下来开会，但会有沟通。总体 vision 一致：让机器人通过 scale up 进入实际应用场景，真正有用。细节 bias 不同，有人更相信世界模型，有人做 VLA 加视觉模型的融合路线。短期看，这是好事，行业还没收敛。大家共同关心的话题是如何让模型 scale up、数据怎么做、模型怎么进入人的场景。她和高阳聊过相关 topic。

具身数据最难的地方，她认为是需求定义。数据会被喂给模型，数据的定义却由模型能力反推。希望模型动作更平滑，就采平滑类型的数据；希望模型有 failure recovery 的能力，就采失败和修正的数据。现在大家对模型能力的定义还比较模糊：base model 要不要有分割、tracking、depth 重建、normal 重建这些 CV 能力？ICL 本身也是一种新能力，要让模型从手部指示、身体指示、语言指示等更多 modality 里学习。不同的模型能力，会反过来定义数据需求。

数据路线她站融合派。不同数据，模型能学到的东西不一样。遥操作数据最接近机器人本体，适合后训练、fine-tuning，让模型和目标 domain 更直接相关。仿真数据容易造位置泛化、纹理和颜色变化，让模型对视觉变化更鲁棒，适合预训练、中期训练，也可以作为干净的对齐数据，激发大规模视频预训练模型的能力。UMI 数据在中间，像机器人数据，采集成本更低。人类数据成本最低，可以大量铺到不同场景，人本身是成熟的本体，适合让模型理解场景变化、任务相关的物体变化。有人质疑人类数据和机器人 morphology 差太远，她的看法是，人本身也是一种 morphology，做好 retargeting，人类数据能发挥很大作用。关键是把数据用在正确的位置，构建数据和模型能力之间的正确链接。

第十公里 1:09:56

对刚走上研究道路的学生，徐梦迪给两个建议。第一，多看，吸收得足够多。她跟学生聊，发现很多人对 fancy 的概念感兴趣，认真追问兴趣点在哪，回答很模糊。原因往往是知道得太少。书要越读越厚，再越读越薄，先知道足够多，才能抽出自己真正感兴趣的方向。同时多跟人交流。第二，实际动手。很多人对具身感兴趣，把兴趣转化成行动的能力要尽早培养。真机部署很消耗经验，早期有积累会好很多。

她面试 PhD 有一个必问问题：你最感兴趣的一篇文章是什么，或者你觉得哪篇文章做得最好。这个问题考 research taste。她听过最好的答案，来自一个对 diffusion 感兴趣的学生。学生提的是 diffusion model 最开始那篇 original paper，没有停在 diffusion policy 这一步。她觉得这个学生看得广，能刨根问底，找到文章的源头。

带本科生，她目前比较宽进，希望给大家一个了解前沿研究的平台。组会开放给很多本科生，形式是 tutorial：前 30 到 45 分钟讲领域发展，用科学史的角度，或者把一个 topic 分成不同流派来讲；后 15 到 30 分钟，学生讲自己的项目。计划每周，实际执行大概双周。tutorial 由学生做，她会先和学生讨论 topic，第一遍带着梳理组织方式，后面学生就能自己做总结。

年轻 AP 带 PhD，像一场创业。她面试学生时会直接说：来我这儿读，可能要承担实验室建设的角色，会做一些看起来杂的事。学生大多愿意接受挑战。她不觉得这是她一个人的 startup，更像她、博士生一起构建一件事。大家有共同愿望，把事做好，每个人在正确的位置贡献能力，凝聚力就容易形成。她组织过两次团建，学生也会组织，前两天还一起去唱歌。她希望师生关系不止于工作上的 collaborator，也能成为能长远相信的朋友。

日常她用 ChatGPT 比较多，最近会 ChatGPT、Gemini 轮番用，同一个问题，两边观点有时不一样。以前用 AI 偏知识性，总结、调研；最近开始有一些非工作的对话。她正在给实验室起名字，给 AI 一些关键词，让它 propose，再 polish，觉得 AI 提的名字还不错。名字还没定。

论文大爆发，robotics 感受明显，论文数量在翻倍。她的摄取方式是每天刷一刷自己关注的 researcher 转发的文章，作者列表本身已经做了一轮筛选。有些文章 AI 写的成分很多。AI 写的文章能通过审稿，能中会议，质量整体上不如人写的：第一眼看起来详实，论证却可能漏洞百出，实际内容没有那么多。发现是 AI 写的，她对这篇文章的兴趣会打折。

最后的问题是一个比喻：具身智能是一场马拉松，42 公里，现在跑到几公里？她说 10 公里，四分之一。真正强调泛化、通用型的智能机器人，进入实际场景还没有看到，路还长。她整体乐观，未来 3 到 5 年，通过 Scaling 能看到明确的范式转变，或者一个明确的拐点。这段时间非常关键。

悲观特别容易正确，只有乐观才可能成功。

如果你在做具身，别只盯着 loss 曲线，去看没见过的任务上成功率有没有涨。如果你在选环境，别只看排行榜，看它能不能把你的能力放大一倍。如果你要给教授发邮件，先自己写初稿，把兴趣落到具体工作上，再让 AI 润色。如果你在等机器人的 GPT moment，先接受它现在还在第十公里。徐梦迪的判断是，这条路会很长，但方向已经看得见。