# 人形机器人从150万美元降到3万美元，英伟达Jim Fan谈机器人的GPT-3时刻 > Training Data No. 15 中文精读 - 原标题：Jim Fan on Nvidia’s Embodied AI Lab and Jensen Huang’s Prediction that All Robots will be Autonomous - 发布日期：2024-09-17 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/015-jim-fan-on-nvidias-embodied-ai-lab-and-jensen-huangs-predict-yMGGpM.html - 精读字数：约 5936 字（阅读约 13 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2001年，NASA造出人形机器人Robonaut，一台成本超过150万美元。二十多年后，有公司把全尺寸人形机器人的标价压到了3万美元左右，差不多是一辆车的钱。 这组对比出自红杉资本播客Training Data的一期访谈，主持人Sonya Huang和Stephanie Zhan。嘉宾Jim Fan，英伟达高级研究科学家，联合带领一个叫GEAR的团队，专攻具身智能。今年3月的GTC大会上，跟在黄仁勋身边上台的那批人形机器人，背后就是他们的项目，代号GR00T，英伟达官方管它叫moonshot，登月级的豪赌。 这期节目把机器人这件事讲得相当透：数据瓶颈怎么破，GPT-3时刻怎么定义，为什么押注人形，虚拟世界和物理世界到底是什么关系。下面按重点拆。 ## 从OpenAI第一个实习生，到给机器人造大脑 Jim Fan的起点有点偶然。2016年夏天，他刚拿到斯坦福博士录取，那个暑假没事干，朋友说城里有个新创业公司可以去看看，他就去了。那家公司叫OpenAI，他成了那里的第一个实习生，实习导师是Andrej Karpathy和Ilya Sutskever。那一年，OpenAI内部已经在聊AGI了。 他参与的第一个项目叫World of Bits，隶属一个更大的计划OpenAI Universe。思路很直接：让AI读屏幕上的像素，然后控制键盘和鼠标。回复邮件、玩游戏、浏览网页，人类在电脑上干的所有事，理论上都能塞进这一个接口，像素进，键鼠操作出。 结果不太理想。2016年还没有transformer，主流方法是强化学习。强化学习只能搞定设计好的特定任务，没法泛化，你没法用随口一句话，让agent去干一件它没见过的事。 这段经历给他留下一个判断：**接口越通用，agent的天花板越高**。屏幕加键鼠是人类最通用的操作接口。十几年后，他把同样的逻辑搬到了机器人上，感知进，动作出。 带着这个思路，他进了斯坦福，跟着李飞飞读博。五年里正好赶上李飞飞的视觉实验室从静态图像识别转向具身智能，让agent在有交互的环境里感知和行动，环境可以是仿真，也可以是物理世界。2021年毕业，他加入英伟达，把博士论文的工作一路做到今天。 他现在联合带领的团队叫GEAR，全称Generalist Embodied Agent Research。工作内容用三个词概括，就是「生成动作」。agent在虚拟世界生成动作，那是游戏AI和仿真；在物理世界生成动作，那就是机器人。GR00T是GEAR当前的主线，给人形机器人做基础模型，说白了，给机器人造AI大脑。 为什么这事英伟达来做有优势？他给了两个理由。第一是算力，基础模型要靠规模堆，LLM有scaling law，具身智能的scaling law还没人研究明白，他们正在补这块。第二是仿真，英伟达在做AI之前是一家图形公司，物理仿真、渲染、GPU实时加速，攒了多年的家底，恰好是造机器人数据管线要用的东西。 ## 三种数据，各有各的坑 整期节目里他讲得最细的是数据。他的判断很明确：**机器人基础模型的关键瓶颈在数据，因为动作数据没法从网上下载**。网上能找到无数人类开瓶盖的视频，但找不到配套的电机控制信号。 他把数据分成三桶。打个比方，互联网数据像看别人做菜的视频，仿真像自己在厨房里随便练，真机数据像请教练陪练，贵，但真实。 - 互联网数据。最多样，人类爱自拍，爱录别人干活，教学视频也多，能给模型灌进常识先验，比如人类怎么跟物体互动、物体在不同情况下会怎么动。缺点是没带动作标签。 - 仿真数据。用英伟达的仿真工具批量生成合成数据，量近似无限，算力堆上去数据就跟着涨。GPU加速的仿真器能比实时快1万倍，真机采集一天只有24小时，仿真没这个限制。缺点是仿真到现实的鸿沟（sim-to-real gap）永远存在，物理和画面跟真实世界有差距，场景多样性也不够。 - 真机数据。人远程遥操作机器人，一边操作一边记录。没有鸿沟，但贵，要雇人，而且照样受限于原子世界的速度，一天还是24小时。 结论是三种数据互补，**成功的机器人策略是把三种数据的长处捏在一起，同时消掉各自的短板**。 ## 机器人的GPT-3时刻，卡在一个动词上 主持人的问题很直接：机器人自己的GPT-3时刻，什么时候来，长什么样？ Jim Fan借了《思考，快与慢》的框架。系统1是快思考，底层运动控制，无意识且高速，比如他伸手抓一杯水，不会去想每一毫秒手指怎么动。系统2是慢思考，推理和规划，动用有意识的脑力。 他的判断：**GPT-3时刻会出现在系统1这一侧**。系统2已经被GPT、Claude、Llama这些前沿模型解决得不错，推理、规划、写代码都有像样的产品。缺的是系统1的泛化。 他举的例子是一个动词：open。开门、开窗、开瓶子、开手机，同一个词，对应的动作完全不同。人类理解起来毫无障碍，手会自动做出对的动作。这个词看似简单，考验的是模型对动作的抽象理解，能不能把open背后的共同结构抽出来，再按物体重新组装成不同的运动。到目前为止，还没有任何一个机器人模型能在底层运动控制上泛化这类动词。他希望两三年内能看到这样的模型，那就是机器人界的GPT-3时刻。 系统1和系统2怎么接，还是开放问题。一种做法是单个大模型包办一切，干净，一个模型一个API，但控制频率对不上：系统2大概每秒做1次决策，系统1的运动控制大概每秒1000次，把两种频率塞进一个模型很难。另一种做法是级联，两个模型各管各的，中间通信，但通信靠文本还是靠潜变量，没人知道。 他个人押注的方向，还是先把数据管线做好，把高质量的动作数据转成token，喂给transformer去压缩，跟transformer在维基百科上预测下一个词是同一个逻辑，token的质量决定模型的质量。**transformer还没被推到极限，具身智能的scaling law才刚刚开始**，数据量和模型规模上去之后，可能会看到涌现性质。 架构上他也没把宝全押在transformer上。他点名了两个正在关注的方向，Mamba和测试时训练（test-time training），这类架构推理时不用像transformer那样关注所有历史token，效率天然更高。但它们还没被放大到前沿模型的规模，能不能正面跟transformer掰手腕，要等scale上去才知道。 时间表他也说得很清楚：两三年内希望看到研究突破。机器人要真正进入日常生活，技术之外的坎还很多，硬件要便宜、要能量产，还有安全、隐私、监管，这些会更慢。 ## 为什么是人形，为什么是现在 为什么押人形？他给了两层理由。 第一层是环境。整个物理世界是照着人的身体造的，餐厅、工厂、医院，所有工具和设备都为人的形态和人的手设计。一台足够好的人形硬件，原则上能干一个正常人能干的任何事。而且网上数据几乎全是人，人用五根手指操作物体的视频海量，机械臂和夹爪的视频少得可怜，用人形训练，互联网数据迁移起来最容易。所以GR00T先做人形，之后再特化到机械臂这些形态，整套管线本身是通用的，仿真工具、真机工具以后都能搬到别的平台上。 第二层是行业节奏。他判断未来两三年人形硬件生态会成熟，便宜的人形硬件会有，到那时候竞争的焦点就只剩AI大脑。真到了那一天，价值释放的空间很大：家里有机器人洗衣、洗碗、做饭、照顾老人，餐厅、医院、工厂里全是帮手。 路线之争上，机器人圈一直有人主张放弃通用路线，老老实实做专用。Jim Fan搬出了NLP的历史：ChatGPT之前，翻译、写代码、做数学、创意写作，各有一套专用模型和训练管线，那叫specialist。ChatGPT把所有任务统一进一个模型，那叫generalist。拿到generalist之后，再通过提示、蒸馏、微调，把它变成针对具体任务的specialized generalist。**历史规律几乎一边倒：specialized generalist比原来的specialist强得多，维护起来还容易，因为只有一个API**。 2024年的机器人行业整体还卡在specialist阶段，专用硬件、专用任务、专用数据管线。做专用短期更容易出成果，英伟达选择先啃通用这块硬骨头，哪怕研究问题更难、周期更长。 「为什么是现在」的答案有三条。硬件上，去年底以来新硬件井喷，Tesla的Optimus、Boston Dynamics，加上一批创业公司，灵巧手和全身可靠性都在变好。价格上，就是开头那组数字，2001年NASA的Robonaut一台超过150万美元，现在全尺寸人形标价约3万美元。制造业有个规律，成熟产品的价格会趋向原材料成本，而一台人形机器人用的原材料大约只有一辆汽车的4%，所以价格还有继续下探的空间。模型上，前沿LLM把系统2解决得不错，多模态模型在补感知，机器人可以直接搭这班车，在通用能力之上加一层动作输出。主持人Stephanie补了一条：仿真工具和越来越便宜的遥操作设备，也在给这个领域提速。 ## 虚拟世界，是第10001个现实 Jim Fan的团队一半精力在虚拟世界。他说自己的个人使命就是解决具身智能，虚拟和物理是同一件事的两半。他爱玩Minecraft，还自嘲游戏水平太差，想让AI替他报仇。 他做的第一个项目叫MineDojo，在Minecraft里搭通用agent的训练平台。Minecraft是个开放世界，没有固定分数要刷，没有固定剧情要跟。他们收集了玩家的视频、讲解游戏机制的wiki、Reddit上的讨论，用这些多模态数据训练模型，这个项目拿了NeurIPS 2022杰出论文奖。 第二个项目叫Voyager，灵感来自GPT-4，当时最强的写代码模型。既然代码这么强，那就让AI把代码当动作来用。Voyager的玩法分三步。第一步，把3D的Minecraft世界转成文本，让agent调用API写代码去操作世界。第二步，代码写错了，它拿到反馈自我修正，跟人类程序员调试是同一个流程。第三步，写对了，这段程序存进技能库，下次遇到类似情况直接调用，不用重新试错。整个技能库是一个LLM自己写出来的代码库，全程没有人类插手。 再加一个自动课程机制：agent知道自己会什么、不会什么，自己给自己出下一道题，不太难也不太容易。他们只给了一句总目标，发现尽量多的新物品，剩下全靠agent自己探索。因为它在游戏里跑得足够远，项目才叫Voyager，航海家。整个系统能跑起来，靠的是前沿模型的一种涌现性质，它能反思自己的动作，知道自己知道什么、不知道什么。 虚拟世界的研究对物理世界有什么用？他的答案是把两个世界放进同一个坐标系。有个技术叫域随机化：在1万个并行仿真里同时训练同一个机器人，每个仿真的重力、摩擦、重量参数都稍微不同。如果agent能把这1万个现实配置全部掌握，那真实世界就只是第10001个仿真，从仿真到现实可以直接零样本迁移。 他们的Eureka项目先证明了LLM能当机器人工程师。任务是训练一只五指机械手转笔，转得比Jim Fan本人好，他开玩笑说自己小学之后就没再练过转笔。训练的关键在奖励函数，原本要人类机器人专家手工设计，告诉机器人什么行为加分、什么行为扣分，又繁琐又吃专业知识。Eureka让LLM直接写代码，生成Isaac Sim仿真API里的奖励函数，机器手就这么学会了转笔。这是个通用技术，他们计划扩展到各种任务，甚至让LLM自己发明新任务。 后续的DrEureka更进一步，让LLM写代码设定域随机化的参数，训练出的策略直接搬到现实，零样本，不用微调。演示里那只机器狗站在瑜伽球上，保持平衡还能往前走。有网友让自家的真狗做同样的动作，狗做不到。Jim Fan管这个叫ADI，artificial dog intelligence，人工狗智能。 顺着这个逻辑，他去年提出了foundation agent的概念：未来一个模型，在三个轴上泛化，技能、身体形态、世界。一个模型掌握大量技能，控制各种身体，横跨虚拟和现实的多种世界。这是GEAR的终极愿景。 游戏行业本身也有两个他非常期待的方向。一是活的NPC，有记忆、有人格，能记住你说过的话，能在游戏世界里采取行动改变叙事，每个人玩出来的故事都不一样，同一款游戏有无限重玩价值。二是游戏本身被实时生成，text-to-3D生成资产，text-to-video生成画面，语言agent生成剧情，拼起来就是边玩边生成的开放世界。他也泼了冷水：这类agent需要有趣的对话、一致的人格、长期记忆和行动能力，现在的开源模型行为多样性还差一截，推理成本也压不下来，要么便宜到能上云，要么小到能跑在本地设备上，否则没法规模化。 ## 黄仁勋的预言，和明天就能做的事 聊到全栈，Jim Fan透露了英伟达的算盘：Jetson Orin边缘计算芯片，加上GR00T基础模型，加上仿真工具链，三层打包成一个面向人形机器人的计算平台。然后他引用了黄仁勋那句他最喜欢的话： > 「Everything that moves will eventually be autonomous.」会动的东西，最终都会自主。现在还没到，也许是十年或者更久之后。如果相信智能机器人会像iPhone一样多，那最好今天就动手去建。 快问快答环节他还提了一个方向：视频生成。他把Sora这类模型看作一种世界模拟器，物理和渲染都从数据里学出来。如果成了，具身AI就多了一种数据驱动的仿真环境，训练数据的问题又多了一条路。 被问到最敬佩谁，他点了三个人。博士导师李飞飞教会他研究品味，判断什么问题值得解决，比怎么解决更难，what问题比how问题难。Karpathy是顶级教育者，写代码像写诗。黄仁勋让他意外的地方是，一个CEO会去抠模型的技术细节，还真的懂。 这期内容对普通人的用处，提炼成三条，明天就能动手： - 想入行或做项目的，直接去英伟达官网下载Isaac Sim这类开源仿真工具，在仿真里训练一个自己的机器人。Jim Fan给创始人的原话是「get your hands dirty」，他说现在的论文越来越实用，追最新文献加动手跑工具，比空谈趋势有用。 - 评估任何一家机器人公司，用他的三桶数据框架去问：互联网数据、仿真数据、真机数据，你怎么混着用？答不上来的，技术故事先打个问号。 - 判断一个AI赛道处在什么阶段，用specialist到generalist的框架对照NLP的历史。机器人现在卡在specialist阶段，恰好是NLP在ChatGPT之前的模样，机会窗口还在。 最后是Jim Fan自己的十年愿望清单：写代码的agent达到人类软件工程师水平，人形机器人达到人类的可靠性和敏捷度。还有一个小得多、也诚实得多的愿望，他说了两次，想让机器人替他洗衣服。主持人问他哪年能实现，他的回答是：越快越好，我等不及了。