# 于是转身向具身走去｜对话王家伟：24 岁的具身智能首席科学家

> 十字路口 Crossing 精读

- 发布日期：2026-09-16
- 主持：Koji · Ronghui
- 原节目：https://www.xiaoyuzhoufm.com/episode/6aaa9f039d326477816a3488
- 网页版：https://crossing.qiaomu.ai/ep/6aaa9f039d326477816a3488.html
- 精读字数：约 9063 字（阅读约 20 分钟）

> 本文为 crossing.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

王家伟 24 周岁，下个月过 25 岁生日。2026 年刚拿到中科大与微软亚洲研究院联合培养的博士学位，转身成了深朴智能（Simple AI）的首席科学家。中科大少年班、MSRA、DeepSeek、字节 Seed，这条履历每一站都踩在大模型最前沿。毕业时他没沿着这条路往下走，去了一个路线、评估、产品都还没有共识的领域。

这期「十字路口」聊的就是这个转身。前半段从 GPT-6 Astra 用语言模型驱动机械臂画金门大桥说起，讨论 OpenAI 这类基模公司会不会降维打击具身模型。中间聊深朴智能为什么从数据、模型、Agentic OS 一直做到本体，开源 2,000 小时 HiFi-UMI 数据，内部积累几万小时，模型已经观察到一定的 zero-shot 泛化。后半段点评美国同行的最新工作：Generalist 的 GEN-1.5、π0.7 对 steerability 的强化，以及 Skild AI 为 Demo 专门训练的 in-context learning 是否被高估。

王家伟的判断很清楚：通用大模型会承担越来越多理解与规划，杯子开始滑落的那一下，仍然需要能快速反应的动作模型。具身没有共识，风险高，也给了年轻研究者定义问题的空间。

## 一支笔绑在机械爪上，GPT-6 画了四遍金门大桥 0:04:02

GPT-6 Astra 发布后，社交媒体上刷屏的演示里有一个特别出圈：把一支笔绑在机械爪上，让模型控制机械臂画金门大桥。王家伟第一次看也觉得震撼，尤其是一开始很难想象一个通用语言模型在抓积木这类具身任务上成功率能那么高。

他把视频拆开看。模型不是一次画成的。第一遍明显在试怎么用笔，第二遍有了轮廓，第三遍第四遍才变得清晰。每画完一张，没画好的纸被丢掉，换一张白纸，但上下文一直留在模型里。它知道自己之前怎么画的、为什么画得不好，下一遍调整用笔方式和末端控制。

「code as policy」这条思路并不新。几年前就有人尝试用代码驱动机械臂，李飞飞团队和 Jim Fan 团队前几个月也有新工作。差别在于，过去的 code as policy 还要依赖小模型做感知和识别。Astra 把这些小模型承担的能力合进了一个通用模型：3D 空间理解、场景理解、任务规划、试错总结，都在同一个模型里完成。

那基模公司会不会顺手把具身模型也做了？王家伟的答案分两层。具身系统像人，除了上层大脑的理解，还需要控制肌肉的小脑。Astra 确实能直接操纵机械臂末端，但执行速度很慢，一次推理要很久，呈现出来的视频往往是 16 倍速或 32 倍速。静态环境里这么干能 work，真实环境里很难。

他举了桌上的咖啡杯。杯里有水有咖啡，第一次没拿好很容易打翻，翻掉之后很难 recover。通用模型没有实时控制能力，杯子开始倾斜，它没法快速调整回来。真正想做的 action foundation model 需要这种肌肉反应，纯靠大脑推理不够。

**通用大模型会承担越来越多理解与规划，杯子开始滑落的那一下，仍然需要能快速反应的动作模型。**

大脑这一侧，王家伟认为路线已经比较收敛到 GPT 这类模型。它有很强的推理和 agent 能力，从头做一套完全不同的范式，再把这种能力融进去，难度太高。更现实的做法是沿着现有路线往前推，把第一人称视角、第三人称视角的视频转成模型可训练的任务类型，补进预训练里。他相信 OpenAI 和其他基模厂也在做这件事。

## 少年班选的不只是聪明，还有吸收速度 0:09:28

王家伟小学和初中在小县城读，高中去了合肥一中，高二参加高考，进了中科大少年班。那一届三十几个人。选拔方式挺特别：年龄在 15 周岁以内，高一或高二甚至初三都可以参加高考，分数达到当地科大录取线上下浮动 20 分的范围，进面试。大约 100 人进面试，最后选三四十个。

面试当天，考生先上一节数学课，再上一节物理课，内容是大学课程，但不会完全脱离基础。上完立刻发试卷考试。考的是注意力能不能集中，新知识吸收转化成输出够不够快。之后院长亲自一对一面谈，问一些很开放的问题：如果进来后跟不上教学，或者对方向失去兴趣，想换专业，你会怎么调整。

同学们的共同点，王家伟给了两条：自驱力强，思维敏捷，接收新知识快。少年班对他的影响，一是没上高三，避开了题海；二是大一先上数学、物理、化学和计算机的基础通识课，了解兴趣后再选专业，他大一下学期选了计算机；三是科研资源多，本科就跟着老师做 AI for Science，用计算机模拟研究生物分子马达里的相变过程；四是他当了挺长时间班长，学生工作做得多，和人沟通、处理关系的能力练出来了。

聊到「聪明」这个词，王家伟说最早的理解只停在思维敏捷、学习能力强。过了这么多年回头看，思维敏捷的人很多，它未必是最重要的一点。

> 聪明的人知道自己的不足是什么，并且愿意直面它。

他把「会提好问题」放在更靠前的位置。另一个定义是知道自己缺什么，并且愿意面对。他拿自己举例：对硬件的理解不深，父亲是计算机老师，他从小对软件感兴趣，焊板子、搭电路一直提不起劲。现在做机器人，不得不面对这些事，他就经常向硬件团队请教，承认自己这块经验不足。

这个细节在后面还会出现。一个人知道自己不擅长什么，仍然选择进入一个必须面对它的领域，这个选择本身比履历更能说明问题。

## 风浪越大鱼越贵 0:14:54

博士期间，王家伟在 MSRA 待的时间最长，跟着霍翔老师做文档智能，OCR、版面分析、表单理解都做过，这些算法后来被应用到微软云上的 API 和基础设施里。他不太把自己定义成纯研究的 PhD，做研究的同时会想这些研究能不能对下游商业场景产生实际价值。

2024 年他去 DeepSeek 实习，进多模态组，参与 DeepSeek V3 的预训练数据工作。去的原因挺具体：MSRA 有很多师兄在 DeepSeek，HR 也联系了他，DeepSeek VL2 当时很大的应用方向就是文档，他做文档智能的背景正好匹配。

DeepSeek 内部的文化和他去之前听到的印象接近。大家用研究者的心态推语言模型，不急着考虑商业化，更多在推智能的边界。让他印象深的一点是工作强度确实不大，仍然能做出很好的工作。对 researcher 来说，产出好成果和工作强度不构成必要条件。人也少，每个人分到一大块事情，能接触到底层代码，连 infer 的代码都能碰。后来在字节 Seed，这种接触范围就很难了。

离开 DeepSeek 的原因也具体：多模态投入变少，资源倾斜到语言模型，要去推 R1。他做的很多事是把文档智能的经验迁移到大语言模型，继续做下去更像复用旧经验。2025 年他去了字节 Seed 一个很早做 agent 的组。

Seed 是另一种组织形态。庞大、精密，每个人负责一个很具体的点，很多数据 infra、训练 infra 别人已经准备好了。好处是不用管，坏处是很难 touch 到自己范围之外的事。他在 2025 年 11、12 月想推自进化：把模型通过 API 对外提供服务，收集用户反馈，自我迭代。在大公司里做这件事要跨很多部门，API 怎么对外暴露得协商，前期还要做充分 POC，探索性项目能拿到的资源不多。

他逐渐意识到，在语言模型这样已经比较收敛的领域，一个刚毕业的 new grad 很难自己定义事情，更多是跟着大部队把既定计划往前推。他离开大模型，跟技术路线关系不大。真正让他不舒服的，是只能跟随既定计划的状态。

> 风浪越大，鱼越贵。

他导师的影响也很大。他跟导师聊过不去大厂、要去创业，导师说年轻人就应该去闯一闯，失败了无所谓，从头再来，只要获取到足够多的经验，完全可以开启下一段事业。他对风险的承受程度比较高，风险和机会在他眼里是一件事的两面。

最大的风险他认为是时间。方向踏错，探索几年，发现整条路走错了，对个人的打击会比较大。其他还好。

## 买不到能用的数据，就自己做一套采数据的设备 0:25:24

深朴智能给自己的定位是一家终端公司。纯数据公司、纯模型公司都不是它想做的，它想对外提供一个真正能被用户使用的产品。从数据到模型到部署到真机，链路很长，最终产生价值的是把这些东西放进一个产品里。全栈是目标倒推的结果。

这个选择也构成壁垒。模型这一侧，如果行业突然出现一个特别好的模型，全栈团队能快速 follow、快速迭代，放进自己的产品，更快拿到场景反馈和用户反馈。

支撑预训练的数据集叫 HiFi-UMI。2026 年 8 月底发布，开源 2,000 小时，内部已经积累到几万小时，整个事情做了半年左右。在 Hugging Face 和 ModelScope 上累计下载量超过 50 万。最初他们没想自己做采集设备，试过很多供应商和合作伙伴，精度和时间同步达不到要求。

他们自己做了一套超高精度 UMI 手套。UMI 是宋舒然老师团队提出的通用操作接口，采集员戴着夹爪手套做事，轨迹被记录下来，变成模型训练语料。深朴做了两件关键的事：抛弃基站定位，之前很多工作要在桌上摆几个基站做毫米级轨迹恢复，他们只用相机就做到毫米级；把相机时间戳同步做到微秒级。很多做 UMI 的团队会碰到时间戳不同步，再用特殊方法补，深朴的数据从源头就是准的，模型侧可以更好地控制变量。

整套设备 6 个相机。头部双目，两个腕部各有上下相机，一共 6 个。腕部必须有，夹爪做精巧操作时视野不能被遮挡，只有头部相机很容易挡住。头部相机负责 SLAM 定位，也是抛弃基站的前提，还能迁移到第一人称数据采集。王家伟说他们没有 over design。

数据有没有训练价值，他们做了两层验证。第一批 UMI 数据采回来，先在别人的基座模型上 fine-tune，再做真机评测，看成功率，看能不能完成希望它完成的任务。容易的任务上验通后，他们相信只要采集方法对了，扩展到更多任务是大概率事件。另一层是把采回来的轨迹放到仿真里 replay，看本体能不能做出来，95% 以上都能做。这两个结果支撑了他们扩大采集规模。

采集场景不只在租来的场地，还外采家庭、酒店、民宿，让分布更多样。早期采集投入更大，最近标注投入变得更大。他们试过拿很粗糙的原始数据直接训练，也能 work，说明数据精度确实高，但中间有 mismatch。现在他们想把清洗和标注做成标准化、自动化的流程，尽量少引入人工。

GPT-6 Astra 已经在这件事上帮了忙。他们用 Astra 标了一批数据、做清洗，效果比人好，能 24 小时工作，成本和人差不多，效率还是有点低，因为当时直接充值 Codex 额度，有限制。他们自己在训标注模型：先用 Astra 标一小批，再训自己的模型，小批量持续迭代，效果已经不错。

**数据精度够高，粗糙原始数据直接训练也能跑；想让模型稳定，清洗和标注的投入迟早要补上。**

开源 2,000 小时的考虑，一是研究出身的人希望工作被社区看到、被研究 lab 用起来，2,000 小时对学校实验室足够；二是收集反馈，迭代采集设备。反馈来得挺实在：很多海外和国内公司发邮件想买数据；有人嫌手上的定位 marker 太大，影响视觉，建议做小；有人指出手套在真机上发热严重。他们把这些都记下来。

触觉是另一个正在想的问题。人不用看也能做很多事，靠的是充分触觉。新开源的这批数据没有触觉，原因有二：二指夹爪遮挡少，上下相机的设计让视觉基本能判断有没有夹紧；触觉传感器还没收敛，不同传感器分辨率不同、位点不同，投 100 套设备采完数据，过几个月出了更好的传感器，旧数据怎么利用是个问题。他们没有放弃触觉，在小规模试，没有大规模铺开。

## 具身智能的智能，落在三个能力上 0:36:10

深朴没有追「世界模型」这个概念。王家伟的做法是从「具身智能的智能到底体现在哪」反推：需要什么能力，什么模型学习效率最高，需要什么数据。VLA、其他架构里最精华、最适合这些能力的部分都会 borrow，也会利用已经预训练好的知识，不从零开始。他们不想做 follow 型的工作。

内部定义了三项能力。第一是适应能力，zero-shot 和 few-shot 能不能适应完全 OOD 的场景。第二是 steerability，可操控性，除了语言，还包括图像、视频，给一段视频它能很快 follow。第三是上下文理解能力。他读了很多具身领域的论文，发现大家对 context 关注不足，普遍假设模型根据当前 observation 就能把事情做了，忽略了 context 里蕴含的因果信息。

Context 分几层。短时 context 蕴含很丰富的因果，可能在一秒钟内发生：第一次拿水杯，夹爪没夹紧，杯子往下滑，下一次夹紧，提起来。这一串图像、动作、结果，对模型是很强的学习信号。中期 context 跟 memory 有关：桌上有几个一模一样的咖啡杯，拿第一个时试错知道了宽度，拿第二个第三个就能直接迁移，不用重复试错。长期 context 是家务场景：东西被放进某个抽屉，人类伙伴让机器人找出来拿给我，没有记忆就得每次重新学。

数据和模型两侧都要做。数据侧要设计什么数据能激发模型利用 context；模型侧要高效建模 context。context 多了 token 就多，推理效率一定下降，机器人对执行延迟敏感，训练效率也是问题。他们在这块做了一些特别的设计。

Zero-shot 已经能看到一些结果。模型在几千个任务上训练完，不做后训练，直接上手新任务，这些任务跟训练集不完全一样，有一定泛化。组合泛化也出现了：数据集里没有「把遥控器放到盘子里」，但有「把遥控器放到遥控器盒子里」；没有「把零食放到架子上」，但有「把零食放到垃圾桶」。让模型把零食放到蓝色盘子上，它能直接放过去，不需要后训练。

对比 Generalist 的 GEN-1.5：给模型看 3 秒视频，模型就能学，那是 one-shot。深朴不需要给视频，已经有一定 zero-shot 能力。王家伟把原因归到数据质量。他记得 Generalist 做 GEN-1 时说过，需要某个任务上一小时的采集数据，成功率非常高，但没有说 UMI 数据直接训练完就有 zero-shot 能力。

Scaling 这件事，他们看到的是趋势，不是 law。数据多样性扩展、计算扩展、数据量扩展，性能有明显提升。但 scaling law 是 law，背后有科学依据，探索数据量、模型规模、计算量之间的比例关系，让训练可预测。很多具身公司发 blog 说自己验证了 scaling law，深朴会避免这么讲，他们说自己存在一定的 power law 现象，持续做实验验证，这很耗算力。

趋势的具体表现：训练一两千个任务，原本只期望数据量大的头部任务能 zero-shot，后来发现数据量占比只有 1% 甚至 0.5% 的任务也能做。只要数据多样性起来，模型能力会超出预期。

Agentic OS 是把上层意图和底层动作接起来的系统。2025 年 10 月，王家伟和 CEO、CTO 深入聊过，当时他在做 agent，判断具身肯定是一个 agent system，需要与人交互、与环境交互，不可能只是一个单点模型。深朴在国内很早讲 agent system 做具身。这套系统分两层：system two 理解意图、做规划，system one 快速、精细执行。他们在 system two 上做了很多 harness 设计，语音识别、任务分解、工具调用，往下接到更底层的执行。WRC 上可以语音对话让它拿衣服、把衣服送进洗衣机。

System two 背后，前段时间用的是字节 Seed 的模型，王家伟参与过那个工作。之后想换自己的模型，但很耗资源。他们认为大脑模型参数量一定要大，创业公司算力珍贵，优先级放在 action pretraining 上。大脑模型还在快速发展，GPT-5.6 到 GPT-6 是一个很大的跨越，头还没看到。他们更倾向于定义具身领域里大家没太看到的大脑能力，同时尽可能利用别人已经做好的东西，补整个系统的稳定性。

Harness 是容易被忽略的一层。大脑要实时接收视觉反馈，接收多了延迟会出问题，上下文会爆炸，需要很细致的上下文管理。大脑怎么和小脑交互也要设计。小脑做成 steerability 很强的模型，大脑才能自然调度。这些协同设计不只靠模型能力。

评估是具身领域的老大难。之前的 benchmark 大多在仿真里，LIBERO 被大家刷爆了，纯后训练也能拿很高分，参考价值不大。Robot Dojo 有仿真也有真机，仿真和真实世界有 gap，它定义的能力未必是团队关心的。真机 benchmark 很难完全复现，要把模型交给对方测，对公司来说很难做。具身评估测的是整条链路的稳定性和成功率，最好的方式是自己把评估做扎实。

年底发模型时，他们准备搭一套扎实的 benchmark，从简单到中等再到困难，覆盖场景泛化和物体泛化，呈现成功率。few-shot 实验会明确说用了多少数据，zero-shot 就一定是 zero-shot。跟其他模型对比很难，别人的模型没在你的本体上训过，直接拿过来大概率不可用。

**具身模型的评估没有中立裁判，最扎实的办法是自己把整条链路的成功率测清楚。**

## 美国同行的进展，与被高估的 in-context learning 0:54:14

Astra 给行业的启示，王家伟说是通用智能真的有可能外溢到各个领域，system one 和 system two 的边界会越来越模糊。国内同行对 Astra 的看法分两派，乐观派觉得通用模型速度太慢，做不到实时反馈；保守派觉得从语言模型这条路看，它有机会做到真正可用，只是需要把 action 能力反哺进去，以什么方式融进去、要多久，暂时不清楚。

国内最可能做出类似 Astra 能力的团队，他看好两个：字节 Seed 的多模态，国内一直比较领先；通义千问，他跟千问的朋友聊过具身，对方正在做类似的事情。

美国同行里，他最 respect Generalist。GEN-1 把数据量轰到 20 万小时，评估做得很综合；GEN-1 做到 50 万小时，还做了 9,000 种夹爪构型的泛化实验；GEN-1.5 做 in-context learning 实验，能证明模型的泛化能力和预训练能力确实强。很少有公司做到这个量级。

π0.7 的启示在 steerability。Sergey Levine 教授之前研究过这件事，也做过把 reasoning 融合进具身模型的 embodied CoT。π0.7 把 steerability 强化了，深朴也把它列为头部能力。Steerability 强，才能和上层大脑配合，完成很多难以想象的任务。

被高估的，他认为是其他家做的一些 in-context learning。Generalist 最早发 in-context learning 时讲了两点：模型原生支持 30 秒 context；in-context learning 是自然涌现的，没有单独训练，把视频放进去就能 follow。让王家伟震撼的是参考视频很短，他因此相信是自然涌现。Generalist 还能通过第三人称视角做参考：相机拍着人把杯子叠到另一个杯子上，机械臂直接 follow 做同样的事，这不是完全一一配对。

后来其他一些 in-context learning 工作，包括 Skild AI 发的结果，明确说专门训了配对数据。王家伟认为，这种数据引入暂时是一种妥协。自然涌现的 in-context learning 对应两个能力：对 context 的深刻理解，以及 steerability。没有这两个能力，强行把 in-context learning 训上去，再做几个 demo，不是很本质。

**具身行业上半年最大的噪音，是把 VLA 当成已经做成的事。**

语言模型和具身领域有一个很大的不同。语言模型整体比较 open，结果相对可复现，有 API，有开源，DeepSeek 愿意把技术突破开源出来。技术壁垒没那么高，学生和研究者很容易 follow 最前沿的细节。具身领域，王家伟过来之后的直观感受是噱头可能大于真实。2026 年上半年大家都在吹 VLA，真正把 VLA 做出来的没有几家，效果比 VLA 到底好多少也没有明确结论。很多发布有商业考虑，对做研究的人来说太浮躁，噪音太多。

他在噪音里找信号的方法：看对方讲的点和 demo 结果是否一致；看那个点从第一性原理上是否成立。具身领域不收敛，完全可以按自己的第一性原理做事。数据这件事，如果人云亦云，直接买 UMI 数据、ego 数据就行，没必要自己做。自己做完发现可以弯道超车。

Ego 数据他们没贸然上。第一人称数据多样性更强，学泛化需要分布足够广，有团队做了 100 万小时 ego 数据。深朴考虑两点：性价比。Ego 数据便宜，30 元一小时能买到不错的，后续标注和训练非常贵；付出代价和获得效果是否成正比，斜率怎么样，值得验证。UMI 数据自己采，成本可控，质量高，90% 以上能用，清洗要求没那么重；数据量没那么大，可以充分验证不同模型参数、不同数据配比下的表现。资源没扩大前引入 ego，会带来新变量，影响整体推进。

## 三年后，机器人能不能帮你洗碗 1:07:47

Koji 问王家伟人生中最难的十字路口。他选了做语言模型还是做具身。放弃的东西很实在：优渥的薪资，Seed 里很多卡，创业公司很难有那样的资源。创业公司很多事情要从 0 到 1，infra、模型设计、团队搭建，都要自己花时间考虑。除了研究，还要考虑很多额外问题，这个决定纠结了很久。

少年班的同学，不少去美国读数学、物理这类基础学科。后来很多人转 AI，做 AI 交叉、AI 量化、AI 加医疗、AI 加制药，有人去了 OpenAI 做偏理论的工作。做非 AI、非共识选择的人，他基本没了解到。AI 这个大趋势下，大家还是愿意拥抱它。

三年后回头看，哪件事发生会让他觉得去具身是对的？他讲了导师的一个需求。导师家有洗碗机，但每次吃完饭还是要把盘子里的东西倒掉，再塞进洗碗机，前后花 20 分钟。如果三年后机器人能在一些家庭里完成类似的帮忙洗碗的事情，他就非常兴奋。

Koji 追问概率，他说挺高，三年实现给 80%。

这个答案很具体，也很朴素。具身智能的宏大叙事落到生活里，就是有人不想在饭后花 20 分钟倒盘子。王家伟没有把三年后的图景说成机器人接管所有家务，他说的是类似帮忙洗碗的事情。这个尺度反而可信。

对读者来说，这期对话里能带走的判断有三条。看一家具身公司，先看它的数据是不是自己采的、精度和时间同步做到什么程度，这决定了模型能力的上限；再看模型有没有 zero-shot 和组合泛化的证据，而不是只看后训练刷出来的 benchmark 分数；最后看系统能不能把上层意图和底层动作接起来，具身从来不是一个单点模型的事。

对个人选择，王家伟的路径给了一个参照。大模型领域已经比较收敛，new grad 进去更多是跟随既定计划；具身领域路线、评估、产品都没有共识，风险高，也意味着定义问题的空间。他说的「风浪越大鱼越贵」，翻译成日常语言就是：不收敛的地方，年轻人更容易找到自己说了算的事情。代价是时间，方向踏错可能几年白走。这个代价他认了。