# 20小时训完一个实时视频模型，Decart连游戏引擎都省了 > Training Data No. 22 中文精读 - 原标题：Decart’s Dean Leitersdorf on AI-Generated Video Games and Worlds - 发布日期：2024-11-13 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/022-decarts-dean-leitersdorf-on-ai-generated-video-games-and-wor-GuenqZ.html - 精读字数：约 6049 字（阅读约 13 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 今年夏天，AI 圈流传过一种判断：实时视频生成得等英伟达的下一代芯片 Blackwell，现在的 H100 跑不动。这个说法当时出现得非常密集，Dean 的形容是，有那么两周，所有人都在重复这句话。 10 月底，一家叫 Decart 的公司发布了 Oasis。跑在 H100 上，实时出画面，玩家用键盘操作，能走、能跳、能拆方块、能放方块，模型逐帧生成，响应玩家的每个动作。画面像极了《我的世界》，可这个游戏里没有游戏引擎，没有 Unity，没有 Unreal，每一帧都是模型现场算出来的。Sonya 把它叫作「完全可玩的 AI 游戏引擎」。 这是第一个真正实时运行、可交互的视频模型。更扎眼的是训练成本：Oasis 1 从开机到收敛，总共 20 小时。Dean 说，几家顶级实验室的朋友听到这个数字都愣住了，他们训扩散模型，通常要两周左右。 Dean Leitersdorf 是 Decart 的联合创始人兼 CEO，在以色列和美国两地长大。Google 成立时他才三个月大，23 岁成为以色列理工学院（Technion）史上最年轻的博士，这个纪录后来被他弟弟打破，弟弟 21 岁就拿下了博士。这期节目出自红杉资本的播客 Training Data，主持人是合伙人 Shaun Maguire 和 Sonya Huang。 ## 一面魔镜，和一个没人解决过的问题 Dean 介绍 Oasis 时有个奇怪的顺序。他先讲技术：第一个实时视频模型，能响应操作。然后他话锋一转，说这件事本身「并不有趣」。 有趣的是他接着讲的比方。他让听众忘掉 Oasis 1，去想 Oasis 3：一面魔镜。对着镜子说，我手里想握一把剑，镜子里那只手就有了剑；手一动，剑跟着动；说剑大一点、变蓝色，它就变；说把整个世界换成《权力的游戏》，周围全变成维斯特洛，头上还多了顶王冠，不满意还能改；跳一下，镜子里的世界跟着动。 他的解释是，这是一种地球上从没出现过的体验，它把两样东西接通了：**脑子里看到的画面，和眼睛能看到的画面**。屏幕存在了几十年，一直是一块玻璃，人按一下，它播放预先做好的内容。魔镜的思路反过来，画面是现场长出来的，想象力第一次能直接透到屏幕上。 Sonya 问他，这到底是社交产品、游戏，还是世界模型。他反问：ChatGPT 解决了什么问题？Sonya 答：作业。Dean 说对，还有写邮件、做总结。然后他给出自己的核心判断：**ChatGPT 没有解决任何一个具体问题，它跨越的是一道根本限制**。人讲非结构化的语言，计算机讲结构化的语言，LLM 把这道墙拆了。墙一拆，上面能盖一百种东西。 魔镜同理。生成式交互视频跨越的是视觉那道墙：计算机能按人类看到世界的方式去看世界，也能按人类能理解的方式把世界演给人看。Dean 说，这道墙一拆，从下一代 Snapchat、TikTok，到战斗机飞行员的模拟器，都能往上盖，甚至人和计算机、和硬件交互的方式都会被改一遍。 他还给这种机会定了量级。99% 的公司在解决某个问题，路演材料永远是痛点、市场规模、解决方案三件套，前两页通常永远不变，解决方案改五百次都叫迭代，改问题本身才叫 pivot。而历史上大概每隔十年、十五年，才出现一次「跨越限制」的窗口。他拿 Mac 举例：Mac 是消费产品还是企业产品？硬件公司还是软件公司？要列它解决的问题，从游戏到 Excel 都算。**真正的平台级机会，起步时往往说不清自己是什么**。 ## 没有游戏引擎的游戏 游戏引擎的本来目的，是让一个人创造世界，另一个人进入这个世界玩。Unreal、Unity 把这件事做了很多年，电影行业也拿 Unreal 做特效。引擎的好处是世界一致、精确，代价是改起来慢。 Dean 观察到玩家天生爱改游戏。有人给《我的世界》做了个 mod，把宝可梦塞了进去，玩家在森林里走，宝可梦在旁边跑。平台摆在那，用户就想动手改。 如果跑游戏的换成 AI，mod 的逻辑会变。玩家可以直接说，把这里变成艾莎主题，画面全变；说加一头会飞的象，象就出现了，而且它不只是贴图，能跟它互动，打它一下它还会还手。Dean 把这叫 active modding，主动的、实时的、用嘴完成的 modding。 他承认这个趋势要取代游戏引擎，前提是它能被编程，让一个人造世界、另一个人玩，而这一天肯定会来，而且到时候编程会用词，不用写代码，就算会写代码，迭代速度也快得多。 他的总结是：**modding 会快几个数量级，而且从下载别人的 mod，变成当场用一句话改世界**。 ## H100 跑得动实时视频，前提是两件事同时干 回到开头那个夏天的判断。Dean 的回应很直接：H100 做得到，他们做到了。代价是两件事必须同时干。 模型这一层，架构要改，训练方式要改。改动不大，但必须有，否则模型天生没法被实时交互。 系统这一层，活更脏。他们自己写 CUDA 内核，把 PyTorch 的垃圾回收器扔了，重写了差不多一半。Dean 的原话是，两件事只做一件，你就得等别人帮你做另一半。只做系统层，手里没有一个能实时交互的模型；只做模型层，系统撑不起实时。 模型本身倒不神秘。Dean 的概括：跟 Sora 那一类文生视频模型同构，区别在 prompt。**Sora 吃一句话，Oasis 吃键盘操作和过去几帧，吐出下一帧**。 数据也多了一道工序。原始游戏录像得逐帧标上玩家当时按了什么键。他们的做法是让团队自己玩一段、录下来，训一个小模型学会标注，再用它去标全部数据。Dean 强调这步不需要太多数据，小模型就够。 至于纯像素生成和世界模型之争，他的态度很明确：Oasis 现在就是纯像素表示，端到端，从敲键盘到出画面。3D 方案一致性更好，物体两小时后再出现还是原样；像素方案更灵活，能当场改，大象尾巴太大，说一声就改。他判断两条路长期会合流：用两个 transformer，一个像 LLM 一样维护游戏状态，接收用户操作、输出状态变更，另一个负责把状态渲染成像素。两个他都想自己做。Shaun 在旁边补了一句：这个合流还要时间，现在谈为时尚早。 ## 20 小时的背后，是一本 200 页的故障手册 20 小时这个数字的背景，是整个行业的训练环境都不稳定。Dean 说，今天在任何一家超大规模云或 GPU 云上训他们这种规模的模型，集群每隔几小时崩一次是常态，而且崩得莫名其妙。他举过一个例子：一个节点崩了，排查半天，原因是另外两个节点之间的线缆上落了灰，而且没有任何报错指向这个原因。重启没用，只能一个一个拔节点试。 他跟一位 Google 高管聊过，对方的类比是：**今天的模型训练，相当于 90 年代的服务器运维**，没有 Kubernetes，没有 VMware，机器说崩就崩。大多数公司不想碰这些脏活，于是付两笔钱，一笔是溢价，一笔是时间。Dean 的总结是，坏硬件永远比稳定硬件先出现，稳定训练大家迟早都有，但得等。整个行业里大概只有 Google 和 OpenAI 不太受这个罪，前者连硬件都自己做了，后者有几年时间专门打磨可靠性，其他所有人，大公司也好，创业公司也好，都在经历同样的事。 Decart 的选择是自己扛。他们内部有一份 200 页的文档，标题大意是「训模型时一切可能出错的事」，从「看到这个报错就通知机房，这两个节点之间有问题」到各种离奇的连锁反应。 Dean 分享了一个他觉得算简单的案例。训练 Oasis 时，他们看集群里 CPU 利用率只有 3% 左右，闲置可惜，就在同一套集群上并行跑合成数据生成。GPU 云服务商看到都惊了，说你们把集群用出了 200% 的感觉，GPU、CPU、连 InfiniBand 都拿来传数据。结果训练崩了，报错是数据加载器丢了一个锁文件。排查下来的因果链：合成数据占了更多网络带宽，Python 的数据加载器把一个本来走网络的日志文件换到了本地磁盘，不同节点上的日志文件不一致，加载器崩了。Dean 自己都说，团队听了大概会纠正他讲错的细节，但这就是日常。 Shaun 补了一个故事。他们拿到一个新集群，存储还没装好，GPU 只有很小的板载内存。大多数人拿到手只能干等。Decart 把每个节点上挂的几块 SSD 拼起来，自建了一个迷你假分布式文件系统，硬是先训了起来。Dean 把自己的集群叫「地球上训视频模型最好的地方」，因为训视频模型要的不只是 GPU，存储、网络、周边全套都得跟上，而大多数云还远远没准备好。 结果就是那组对比：Oasis 1 从头训到尾 20 小时，顶级实验室训同类模型通常要两周。差距有两部分，系统层没优化，加上隔几小时、隔几天崩一次。Decart 能让训练连续跑一周、两周不中断。 ## 垂直整合，买的是时间 Shaun 对这家公司的形容相当夸张：他们从电子在逻辑门里怎么跑开始理解，往下到汇编之下的层级、CUDA 内核，往上到模型设计、训练，最后到用户看到的像素，每一层都在优化。他的判断是，这么干的公司，对只做应用层的对手会始终保持 10 倍以上的优势。 Sonya 提出了最自然的反方观点：英伟达有一万名顶级工程师在干底层的事，创业公司该做的是把用户体验和传播做好，凭什么自己下到内核层？ Shaun 用 Google 的故事接住了这个问题。他说大家误解了 Google 早期的护城河。PageRank 当然漂亮，但它是个图论基础想法，论文公开发表，出来没多久人人都复制了一份。Google 真正的优势，是这帮人是全世界最好的分布式系统和底层优化工程师，而且很早就想明白一件事：别的搜索引擎买 Sun 的高端服务器求稳定，Google 买便宜的消费级硬件，坏了就坏。同样的性能要多买五倍的机器，但单次浮点运算的成本只有五十分之一，算下来是 10 倍的成本优势。 用户看到的那头呢？一个白底页面加一个搜索框。Shaun 的评价是，当时的前端还不如 Yahoo 好看，Yahoo 还有聊天室这些花活。魔法全在后端。他顺便提了一句红杉的战绩：Google 的 A 轮有红杉领投，英伟达的种子轮也是红杉投的，Apple 的 A 轮同样有份。Sonya 一句「广告时间结束」把话头拉了回来。 他说 Decart 的故事让他觉得似曾相识，但马上补了一句谦虚话：这家公司还没做出什么名堂，离 Google 差得远。不过他的判断很明确：**做不到实时，这个产品就不成立；而未来一年内想做到实时，就必须把优化做到最底层，全栈干到底，没有中间路线**。他见过的公司里，只有 Decart 在这么干。 Dean 接过了话。他说垂直整合通常给两样东西：成本，和速度。也许还有第三样，一般东西都有三样，谁知道呢。AI 这场里，速度更值钱。他引用 The Information 的报道：从 Google 出来创业的人，出去才发现外面什么都不好使，Google 里一切都能跑通。这些问题迟早会被云厂商和中间层公司解决，但那是别人的时间表。**全栈自己做的人，可以比别人早一年、甚至两年把东西带到市场上**。 他给这背后的逻辑加了一句很冷的话：技术护城河从来留不住。Bing 是个不错的搜索引擎，微软这么大公司做了这么多年，技术不差，但 Bing 和 Google 至今不在一个量级。Google 和 OpenAI 的打法都是，尽快拿到技术领先，然后用最快的速度把它换成别的护城河。坐在海滩上等生态成熟两年再回来做同样的事，当然也行，只是位子早就被人占了。 ## 护城河、TikTok，和「UX 已死」 被问到护城河，Dean 分了长短两期。短期，技术。最好的系统层，加上模型层，全栈都在自己手里。长期，他讲了一个新东西：**TikTok 护城河**。 他的参照物是 Character.AI。这家公司起飞之后竞争立刻就来了，技术领先大约半年，Meta 一放开源模型，大家都能做类似的东西。Character.AI 靠垂直整合还能比别人便宜 10 倍，但真正让 Dean 印象深的是另一件事：去 TikTok 上搜 Character.AI 的任何一家竞品，能刷到竞品的视频，往下划全是 Character.AI 的视频；点进竞品的视频，评论区也全是聊 Character.AI 的。随便问一个用户，他们不知道还有别家。 Dean 说这像品牌，又比品牌凶。二十年前的品牌是朋友和父母嘴里的口碑，现在的年轻一代整天泡在 TikTok 上，口碑直接怼在脸上。他也不确定这算网络效应还是品牌效应，但他怀疑这种护城河能不能撑两三年，撑到真正的长期护城河成型。 Shaun 补了他的版本：硬件永远是终极护城河。他举了 Google 的例子，Google 后来把软件和分布式系统的优势升级成了硬件优势，建了数据中心用的光交换机，论文叫《Jupiter Rising》。外界当年普遍认为这种交换机做不出来，Google 做出来了，数据中心性能差不多翻倍，功耗降了大概 30%。他的理由很物理：**原子的时间尺度改不了**，建厂、拉电、造芯片都慢，哪怕 AGI 到来、满地机器人，硬件的周期还是比软件长。 Dean 透露了创业时的分析。他们把当时的局面叫 golden ticket，一生一次的车票，然后数了数能建的三种巨型公司：做英伟达的竞争者，做下一个 AWS，或者做新体验。前两个都极难，芯片对手要跟英伟达的供应链硬碰，云的牌桌上就算所有人输，三巨头加 Oracle 还是赢。他们选了新体验，判断是这波体验的跨度足够大，下一家万亿美元公司会从这里出来，用五年，而非三十年。英伟达那条路是心里的第二名，Dean 说，哪天还是要回去试试的。 至于终局，他借了红杉合伙人 James 提出的一个词，GX，生成式体验，口号是「UX 已死，GX 万岁」。体验由生成产生，按人类想要的方式跟计算机互动，从 Character.AI 到实时视频模型都算。Decart 自我定位就是一家生成式体验公司，做的是会碰到这个星球上每一个人的新体验。上一代巨头统治世界花了很多年，这一轮他判断会快很多，但至少也要五年。 节目最后是快问快答。最喜欢的 AI 应用，他选了 ChatGPT 和 Character.AI，理由是他看好一类新物种：以某种关系，朋友也好、工具也好，跟几亿人建立连接的 AI 实体。第一次写代码是 13 岁，给《RuneScape》写机器人脚本，挂了六年，最后一次用了网上下载的外挂，24 小时后被封号。AI 生成的游戏和小说哪个先来？他的答案是先来的会是平台，让人类用自己的创造力生产内容，因为 AI 离自己搞创作还很远。最喜欢的科学家是达·芬奇，既是顶级科学家又是顶级工程师，还知道怎么向当年的 VC 融资，那些 VC 叫国王。公司名 Decart 取自笛卡尔，「我思故我在」，他觉得这五个字跟今天的 AI 有奇妙的呼应。 节目结尾，Shaun 拒绝祝贺：「我不祝贺你，你还没做出什么名堂。去做点疯狂的东西。」Dean 的回答很短： > 「没赢之前不庆祝。小胜不值得庆祝。」 最后是三件明天就能用上的事： - 评估 AI 产品时换个问题。别问它解决了什么痛点，问它跨越了人和机器之间的哪道墙。墙拆了，上面能盖的东西自己会长出来。 - 带 GPU 集群的团队，从今天开始记故障手册，把每一次崩、每一个离奇因果链写下来。Decart 那 200 页文档，本身就是资产。顺手看一眼集群里闲置的 CPU，3% 的利用率背后可能有免费的算力，但先查数据加载器的锁文件。 - 做内容、做游戏的人，可以把「用一句话改世界」当成一个交互范式去试。给现有产品加一句自然语言入口，让用户当场改场景，成本不高，体感差距很大。