# 一天 700 万次生成，Sora 2 三位负责人把「世界模拟器」讲透了

> Training Data No. 70 中文精读

- 原标题：OpenAI Sora 2 Team: How Generative Video Will Unlock Creativity and World Models
- 发布日期：2025-11-06
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/070-openai-sora-2-team-how-generative-video-will-unlock-creativi-w9oTtv.html
- 精读字数：约 4966 字（阅读约 11 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

一天 700 万次。这是 Sora 2 应用目前的视频生成量，产品负责人 Rohan Sahai 在红杉资本播客 Training Data 里报出的数字。

另一组数据更扎眼。**过了邀请码的用户，几乎 100% 在第一天就动手创作；回访用户里，七成的时候在创作，三成的人还会把作品发进信息流。**工程负责人 Thomas Dimson 在 Instagram 做了七年推荐系统，他的原话是，让用户在 Instagram 上创作，几乎是不可能的事。Sora 上线几个月，创作成了默认动作。

这期节目请到了 Sora 团队三位核心人物：团队负责人 Bill Peebles、工程负责人 Thomas Dimson、产品负责人 Rohan Sahai。聊的内容比「AI 视频工具」大得多，从扩散变换器讲到世界模拟器，从 Instagram 算法的旧账讲到数字分身。下面按节目脉络拆开讲。

## 三个人，三条路

Bill 是学院派路线。本科做视频生成研究，伯克利继续深造，入职 OpenAI 第一天就开始做 Sora。他还有个更响的头衔：扩散变换器（Diffusion Transformer，简称 DiT）的发明人。

Thomas 的路绕得远。他在 Instagram 待了七年，入职时公司只有 40 人左右，做过早期的机器学习系统和推荐系统，Instagram 那套排序算法最早就是他写的。后来离职创业，做了浏览器里能跑的 Minecraft，OpenAI 看中这支产品团队，把公司收购了。

Rohan 在 OpenAI 待了两年半，最早在 ChatGPT 团队做工程师，看到视频生成的研究之后迅速「被 Sora 传染」，转了过去，现在带 Sora 产品团队。

## 整段视频一起生成：DiT 为什么赢了

语言模型大多用自回归架构，一个 token 接一个 token 往外蹦，生成每个词都要参考前面的全部内容。DiT 换了一条路：拿一段视频，加上大量噪声，训练神经网络去预测加进去的噪声；生成的时候，一步一步把噪声去掉。

关键差别在于，**扩散模型是整段视频同时生成**，所有帧一起出来。老一代视频模型按帧往后生成，画质越往后越糊，这个老毛病被 DiT 顺手治好了。Bill 说，看今天国内外的竞品，底层架构基本都是 DiT。

怎么理解这个模型的「积木」？Bill 给的说法叫时空补丁（spacetime patch）。语言的基本单位是字符，视觉的基本单位就是一个同时包含空间 X、Y 和时间维度的小立方体。整段视频被切成无数个这样的小方块，注意力机制让每个方块跟其他所有方块通信，每个位置都握有全片的全局信息。

物体恒存性就是这么涌现的。球滚到沙发后面，再滚出来，还是那个球，因为模型在时空的每个位置都能看到全部上下文。Sora 1 的博客标题就叫《Video Generation Models as World Simulators》，视频生成模型即世界模拟器。

## 罚球不进会弹框，这是 Sora 2 最值钱的进步

主持人 Sonya Huang 问，Sora 2 比 Sora 1 强，纯粹是堆算力的结果吗？

Bill 举了个例子。老一代模型有个通病：你让它生成篮球明星罚球，模型太想迎合提示词，球员要是没投进，它会偷偷把球的轨迹改成进筐。Sora 2 会服从物理，**球打在篮板上，弹回来**。

他区分了两种失败：模型失败，和「智能体失败」。模型模拟的那个投篮的人失手了，物理规律依然成立。这种语义层面的失败方式，以前的视频模型里从没见过，是 Sora 2 才有的新东西。

至于来源，Bill 的答案还是规模。物体恒存性在 Sora 1 的预训练里，就是过了某个算力阈值才冒出来的；智能体表现得更聪明、物理定律被更好地遵守，同样是推高算力之后的产物。

版本对标他也给得很直白：Sora 1 是视频的 GPT-1 时刻，Sora 2 是 GPT-3.5 时刻，让世界开始大规模用起来。要走到能用模型做科学实验，还需要一次 GPT-4 级别的突破。他举的例子是 GPT-5 Pro 天天在 Twitter 上刷新凸优化的下界，他相信 Sora 迟早会对科学界干同样的事。到那时候，**世界模拟器对物理规律泛化得足够好，湿实验室都可以省了，生物学实验直接在 Sora 里跑**。

数据账也算过。视频每比特携带的智能密度比文本低，但总量大得多，很难想象视频数据会用完。动漫也在训练集里，因为用户爱生成动漫；Bill 的态度挺开放，简化过的表征可能反而有用，动漫里人物照样要在场景里移动，但喷火龙满天飞，对学空气动力学大概没什么帮助。

还有个足够大胆的判断。Sonya 问，造世界模拟器需不需要物理具身？Bill 说，每次把算力推高 10 倍，都有东西凭空掉出来，物理具身肯定有帮助，但**仅凭视频，可能就足够造出通用的世界模拟器，这件事本身可能就是 AGI 完备的**。

闪电轮里有个问题很妙：第一个由世界模型做出的科学发现会是什么？Bill 押湍流的更好理论，Thomas 押 Navier-Stokes 方程这类流体力学难题，Rohan 押「适合靠海量模拟迭代撞出来的问题」。那最后才能模拟的是什么？Bill 的答案是视频表征不了的东西，比如高速粒子碰撞和量子力学，没有原生视频素材可学；Rohan 补了一句：气味，现在没什么人做。

## Cameo 是怎么冒出来的

Sora 1 时代就有产品团队，Rohan 牵头，瞄准专业向用户。但当时的模型没有声音，Thomas 说，那是一个完全不同的环境。

转折点出现在 ImageGen 发布之前。团队内部在社交场景里玩 ImageGen，发现一个行为：人们会拿一张图不断改编。先是鸭子，然后鸭子站到了别人头上，然后整个画面颠倒过来，人物还叼上了烟。

Thomas 意识到了要害。社交媒体最大的门槛是创作门槛，想个点子容易，架相机、拍摄、剪辑全是成本，所以在 Instagram 上让用户创作几乎不可能。改编链条这个行为又轻又好玩，值得产品化。

7 月 4 日，美国国庆那天，团队拍板开工。Thomas 说，从启动到上线，只用了两三个月。

Cameo 在功能清单上，Thomas 自己原本不看好，他的原话是：

> 「我不擅长预测技术。当时我不太确定，能不能把一个人的样貌变成视频里的形象，还能成立。」

结果内部测试那天，信息流里全是同事的 cameo。Rohan 回忆，这个功能上线之后，大家生成的东西全是彼此。第一周过去，还是全在玩 cameo，他们才确认，这东西成了。一开始团队还有点慌，信息流里全是 cameo，用户还关心别的内容吗？后来发现，恰恰是人把平台撑起来的。大量 AI 视频的问题是只有漂亮的静态场景，缺人味，cameo 把人味带了回来。

**一个全是 AI 生成内容的平台，反而比大多数社交网络更有社交味。**你在改编朋友，给朋友打标签，跟朋友来一场动漫对决。Thomas 自己都说，这非常反直觉。

疯狂程度有数据。Bill 把自己做成手办包装盒的那条视频，被改编了上千次。Thomas 公开发布过大约 11000 条生成内容。主持人 Konstantine 顺口补了一句，他妈一直在用 Thomas 的 cameo，做了差不多一万条。Thomas 开放 cameo 的第一天深夜，收到的是全中文的「中国工厂参观」改编，他在辣椒工厂剪彩，零个赞，他自己点了一个。Bill 的最爱是 Sam Altman 跳 GPU 主题 K-pop 的那条，他说要是出完整版，想放进 Spotify 歌单。

用户画像也出乎预料。Rohan 原以为信息流会被「Twitter 上的 AI 圈」刷屏，实际上用户年龄跨度极大，有人给自己生成励志场景，有人跟朋友玩梗，有公众人物开放了自己的 cameo。冲到 App Store 榜首之后，大量圈外用户涌了进来。

## 信息流该为创作服务，还是为刷屏服务

Thomas 写过 Instagram 的原始排序算法，这期节目里他把当年的决策逻辑完整讲了一遍。

时间线信息流有个结构性问题：每个人发的内容，都保证出现在所有粉丝的最顶端。这等于奖励高频发布者。你关注了国家地理，它一天发 20 条，你朋友一天发一张咖啡照。结果是你刷 20 条国家地理，那条你真正想看的咖啡照，永远刷不到。

解法只有两个：要么取关这些账号，要么平台接管分发顺序。Instagram 选了后者，内部测试结果毫无歧义，用户看到了更多自己真正关心的人的内容，创作量反而上升了。

但他也承认，后来事情跑偏了。开放未关注内容，加上广告收入的压力，平台有天然动机去优化盲目的消费，让人一直刷下去。

Sora 的选择是反着来。**把信息流优化成激发创作的引擎，别让它变成消费时长的黑洞。**Thomas 说，提到灵感，大家想到的是绝美画面，他想到的是梗图文化，是那种「我也来改编一下」的冲动，这是两种完全不同的大脑模式。

Rohan 提到一篇讲赌场动线设计的文章：赌场的设计目标是让你永远不用做任何决定，没有窗户，走一圈就是循环。Sora 反着来，产品里真的有这种组件：你连着看了几条同类视频，信息流里会插一个提示，要不要自己动手试试。开头那组数据，几乎 100% 首日创作、七成回访会话在创作，就是这套思路跑出来的结果。

## 电影、游戏，和跑在手机里的数字分身

API 和 App 用的是同一个模型。API 的意义在长尾：有影视工作室想把 Sora 嵌进制作流程的特定环节，有公司在拿 Sora 做 CAD 相关的事，Bill 补充说，那是美泰（Mattel）。

游戏是 Thomas 老挂在嘴边的方向。他喜欢一款叫 Infinite Craft 的网页游戏，开局四要素，火、土、水、气，拖在一起就合成新东西，火加土是火山，火山加水可能是水下火山，也可能直接是哥斯拉，合成树由大模型现场推导。他的哲学是，**大模型和视频模型本质上是一场发现，一切都在权重里，提示词是解锁它的密码**。游戏最迷人的时刻，就是发现一个开发者没放进去、只是被机制允许的东西。

电影这条路，Bill 给了一个时间感：Sora 团队的 Daniel Frieden，一个人、几天之内，就能做出有说服力的短片，发布视频就是他一个人做的。要让每个孩子都能在家做出长片，卡在经济学上，视频是计算最贵的模态，应用现在完全免费，以后会有付费档位。他的判断是：

> 「会有很多烂片被做出来，但下一个伟大的导演，可能就坐在父母家里，还是个高中生，只是从来没有过设备和技术团队。」

Rohan 补了个电影史类比：摄影机刚发明时，人们干的第一件事是录舞台剧，把剧场原样搬上屏幕，这是摄影机最无聊的用法。后来才有人想到，可以去外景地拍真正的电影。他说，我们大概处在下一个电影产业的第一局，长片长什么样，今天没人知道。

Thomas 的补充值得记一笔：内容是一种社会现象，当创作无限供给，稀缺的会变成注意力，这反而会抬升内容质量。今天的世界是创作稀缺、消费过剩，未来会倒过来。

版权的事也在推进。Bill 说他们在和一批版权方紧密合作，方向是用户可以 cameo 自己喜欢的角色，收益回流版权方，一套全新的创作者经济要从零设计。

短期路线图上，宠物 cameo 已经承诺了，Bill 的狗 Rocket 是内部测试对象。Thomas 更绝，他录了两秒自家座钟的视频，给时钟下了 cameo 指令，「你是一只行走的钟」，生成出来的钟真的会走路说话，还跟 Bill 对上了戏。

再往后，Bill 的愿景更大：**Cameo 是人类向模型描述自己的最低带宽方式，只有长相和声音，这个带宽会持续增大。**模型会理解你的关系网、你的成长轨迹，最终成为你的数字分身。Sora 应用会变成跑在手机里的小型平行世界，你的分身可以出门干活，跟别人的分身交互，回来汇报。这也是 OpenAI 坚持迭代式部署的原因，用 Bill 的话说：

> 「我们希望社会和技术共同演化，别等到研究突破那天，往世界上扔一颗炸弹。」

Sonya 听完总结，所以你们是在造多元宇宙。Bill 说，差不多。她追问模拟假说，Bill 给自己标了个 60%。

## 明天就能用的三件事

- **做产品的，换一个指标看健康度。**别只盯使用时长，看看回访用户里有多少人在创作，Sora 的答案是七成。创作占比高的平台，护城河在变深；纯消费的平台，用户随时会被下一个信息流吸走。
- **把「改编」做成一键动作。**ImageGen 的鸭子链条、Bill 的手办盒子，爆点反复出现在二次创作里。给内容加一个低门槛的改编按钮，比加一个分享按钮值钱。
- **做内容的，把「把自己放进场景」当默认起手式。**AI 生成的内容里，最稀缺的是人的在场感。露脸、出声、让朋友进来一起玩，比磨提示词管用。

视频是眼下最贵的模态，实时游戏还做不了，延迟摆在那里。但长尾场景的原型，现在就可以开始试了。等成本曲线降下来那天，先想清楚要做什么的人，会先跑出去。
