# 给 Transformer 写讣告的人：o1 与 Gemini 缔造者的全自动实验室

> Training Data No. 104 中文精读

- 原标题：Building the Automated AGI Lab: Core Automation's Jerry Tworek and Rohan Anil
- 发布日期：2026-07-29
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/104-building-the-automated-agi-lab-core-automation-s-jerry-twore-2RJiaf.html
- 精读字数：约 6324 字（阅读约 14 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

先给一组数字。QR 分解，一个 60 多年前就发明的矩阵运算，在 NVIDIA 最新的 B200 芯片上，业界标准库 cuSOLVER 只能跑出一个基准水平。人类工程师配合自动搜索循环，能快 7 倍。而全世界大概只有三个人具备的那种「高品味」高手，带着 AI 编码工具，烧了四周时间、大约 10 万美元的调用费，做到了 60 倍。

把这道题摆上桌讲的，是 Rohan Anil，Gemini 预训练负责人之一，Google Brain 时期的元老级研究者，二阶优化器 Shampoo 的一作，Google 内部出了名的救火队员，后来去过 Anthropic。

和他对话的是 Jerry Tworek，前 OpenAI 副总裁，Strawberry（o1 的前身项目）和 Reasoning 团队都归他管，把大规模强化学习真正做起来的核心人物。

两人现在一起创办了 Core Automation，旧金山最热门的新一代 AI 实验室之一。他们在 Sequoia 播客 Training Data 的这期节目里，聊的主题只有一个：**Transformer 的天花板到了，下一代模型得换架构，而换架构的正确姿势，是把实验室本身自动化。**

## 先承认它有多强，再谈替代

Jerry 最近发过一条推文：

> 「替代 Transformer 的第一步，是深刻理解它把我们带出了多远。」

主持人索尼娅直接问：这是给 Transformer 写讣告吗？Jerry 说，他最近的采访有一半时间在解释自己的推文。他的意思是，想替代一个东西，先得知道它擅长什么，它擅长的问题就别再碰，火力全部对准弱点。**现在绝大多数架构研究在做的事，是让 Transformer 更便宜、更高效，很少有人研究怎么让它更强、更有表达力。**看清强项和看清弱项，其实是同一件事，都是把它整个摸透。

他给过去六年做了个总结：业界真正掌握了两个算法，大规模预训练，和大规模强化学习。模型越做越大，拆开看，本质都在重复两种操作，MoE 和注意力，然后往里堆更多参数。

**他判断，当下更好模型、更聪明系统的瓶颈，就卡在架构本身。**是时候回头看看这趟开了六年的列车了。

## 基准分数涨了三年，真实世界纹丝不动

Jerry 的反思有一段很私人的部分。从进 OpenAI 第一天起，他就是强化学习最大化主义者，坚信把 RL 放大是通往 AGI 的必经台阶。看着 GPT-3 到 GPT-4 靠预训练一路涨、RL 几乎没动，他一直憋着一股劲：等 RL 放大的那天，所有问题一起解决。

2024 年要是有人问他 AGI 什么时候来，他的答案是 2025 年。

后来 RL 真的被放大了，他就在现场正中央。模型一个接一个地训，基准分数一条接一条地涨。真实世界的任务解决了吗？**很遗憾，没有。**

他看清了一个要命的重合：所有评测基准和训练任务，本质是一枚硬币的两面，训练什么就考什么。真实世界的分布要脏得多、乱得多，训练数据从来没真正覆盖它。去问任何一个训模型的人最大的痛点，答案出奇一致：找不到足够难的任务。可即便如此，真实世界的分布还是没盖住。

由此他得出结论：**模型必须能在测试时学习，跟着用户，在真实任务、真实分布上边用边学。**

那为什么今天的模型做不到？现有工具只有两件，各有硬伤：

- 上下文学习。好处是没有灾难性遗忘，数据效率也高。坏处是容量太小。Jerry 用 Codex 干活，大约 20 分钟就得压缩一次上下文。「我们能学的东西，就 20 分钟的量。」
- 持续微调。灾难性遗忘，数据效率低。这两个问题都不好解，好解的话早就有人解了。

所以他要找的，是一个能被元学习、能在架构层把「学习」本身表达出来的算法，并且能在长得多的时间跨度上工作。

## Transformer 赢在经济学

主持人问了个技术史问题：OpenAI 早就想放大 RL，为什么最后是 Transformer 成了那个可放大的底座？

Jerry 的答案有点煞风景：两件事同时发生，起决定作用的是经济学。技术上 LSTM 也能放大，只是没人敢。scaling laws 论文对比过两者的曲线，Transformer 确实更好，但更关键的是账算得过来。**训练 Transformer 的成本低于它产生的收入，这在机器学习里并非必然，算得上一种魔法。**假如世界没发明 Transformer，我们大概还在放大 LSTM，模型更贵、产品更平庸，没人能说服任何人继续砸钱。

还有一层历史。OpenAI 当年押「可放大的算法」，学界主流押「更高效的算法」，同样算力下做得更好才叫科学，堆算力被反复批评不科学。**今天这些模型，就是那次「不科学」的赌注换来的。**

Rohan 补了一段 Google Brain 的现场记忆。Transformer 论文刚出来时，Ashish Vaswani、Noam Shazeer 那批人的工作，内部反响平平，同一届内部研究会上他讲的是在线蒸馏，没几个人当回事。原论文盯着的也是翻译这个具体问题，成绩大幅超过当时的系统。真正让所有人看到威力，要等到 GPT-2 和 GPT-3。

那这种事为什么要出来创业做？Jerry 说这是时机问题。最大的几家实验室正处在有史以来最激烈的市场竞争里，Transformer 能赚钱，资源都拿去赢下一个季度，谁也没心思认真押一个一两年后可能改写领域的东西，他跟所有头部实验室都聊过。小实验室则在全力模仿头部。**所有人都在训同一个编程 agent，看最近一周的发布就知道了。**总得有人走别的路，这是 Core Automation 想填的生态位。

Rohan 又补了一刀，解释为什么大厂内部也难做这种研究。他问过不少实验室里最好的研究者，把预训练和 RL 端到端合起来优化，大家都点头说值得探索，但排不进最高优先级，因为下一个发布周期的模型等着训。**token 没有粘性，用户随时会换，公司只能卷发布周期，六个月以上的长期研究在很多实验室已经排不上号。**

## 计算深度不足，和被冻结一年的模型

Rohan 给架构下了个极简定义：**架构就是花钱的方式，决定计算怎么花。**

现状是这样的：预训练造出一个固定上下文长度的 Transformer，RL 来了说这不够，我要更多计算，怎么办？一次吐一个 token 地往上加。这在推理侧极其低效，于是全行业都在做 speculative decoding 这类补丁，**本质是给「一次只能生成一个 token」这个设计打补丁。**

Transformer 的老毛病叫计算深度不足。现在训练的模型大多不超过一百层。深度学习当年叫「深」学习，图的就是更深的表示，可到今天，没有人真正展示出模型学到了极深的表示。思维链加 RL 是一种加深的办法，每多一个 token 就多一条计算路径，推理时扩展由此而来，代价是模型为了变好必须吐更多 token，还是一个一个吐。Rohan 说，光是把「怎么增加计算深度」这个问题正经摆上台面，就能开出二十个新方向。

他还讲了两条大厂研究的现实。第一，基础研究从立项到进入产业，过去通常要五六年，前提是组织层面认定它重要，他在 Google 时是预训练最大化主义者，一门心思训最大的模型，这种内心的信念缺了就做不成。第二，理论上最优的架构没有用，得在硬件上跑得快，得有人写 kernel（算子内核）、做生产化，端到端闭环，全世界有这种整合团队的实验室屈指可数。他担心的是，放任现状，**替换 Transformer 的时间会比应有的更晚**，而 token 成本已经有人抱怨，前沿模型能服务到的人群其实很小，从 Google 服务十亿用户的心态出发，总得有人把效率打上去。

Jerry 对天花板的判断，来自一个思想实验。预训练把互联网知识蒸馏进模型，RL 把想要的工作流烤进去，Transformer 的极限是装下人类已有的全部知识，学会任何有训练数据的任务。然后问一个问题：**如果 OpenAI 和 Anthropic 今天停止训练新模型，就用手上这个最强的，一年之后会发生什么？**

答案是它变得越来越没用。世界会出现新事件，事件之间有新关系，会有新任务、新代码库、新工具。Transformer 的价值必须先出现在训练里，它才有用。它有适应能力，但很小，很不灵活。

所以在 Jerry 眼里，Transformer 是一件需要人类操作的工具：得有一个懂它局限的人写好 prompt，模型搞砸的任务回收进训练数据，再由实验室重新训练，**整个改进闭环必须经过实验室。**

主持人提到 David Silver 和 Rich Sutton 的文章《体验时代》，问他认不认同。Jerry 说，从经验中学习这件事一直都在，RL 也不新，TD-Gammon 上个世纪就解了双陆棋，后来是围棋、星际争霸、Dota，现在是编程，每一次都是模型写自己的经验、再从经验里学。真正有意思的是，**RL 只是从经验中学习的一种数学形式，它并非终点。**现在的 RL 特别依赖并行 rollout，靠它降方差、对比模型在平行世界里的表现，人类学东西的方式跟这完全两回事。

他打了两个比方。踢足球很像 RL，一脚一脚踢，每次微调一点，看结果跟预期差多少，自我强化就发生了。学数学完全是另一种，读很难的概念，在脑子里反复想，直到某天「咔哒」一声全连上了。两种都是从经验中学习，机制却完全不同，大脑里可能不止一种学习算法，它们协同工作。**我们正把史上最多的算力花在「从经验中学习」上，但 RL 不会是这件事的尽头。**

## 困惑度是错的尺子

Rohan 的切入点是测量。预训练的本质是压缩，指标是困惑度，然后发现堆参数、堆算力，每翻一个数量级，指标涨一小截。他说这适合造先验，但**用困惑度看问题，从一开始就瞄错了靶子，应该看端到端的结果。**

他举了个例子，顺手把老搭档卖了：他训一个模型交给 Jerry，Jerry 拿去做 RL，会把他所有的困惑度指标全部摧毁。那这个指标还剩什么意义？预训练是走到今天最好的打底方案，下一步得把预训练和 RL 合成一个训练过程来看。**一个数量级的效率提升，就从合并这里来。**

合并这件事，顺带牵出他的老本行，优化器。2016 年他在 Google 做逻辑回归的大规模优化，玩的是神经网络兴起前的大规模线性求解器 Sibyl。同事 Vineet Gupta 有一天走到他工位前：听说你优化方法写得好，我们在白板上磨了个想法，帮我们实现，并且确认它能放大到神经网络训练。那就是后来的 Shampoo。

经理 Yonghui Wu 一路支持到 2024 年他离开，社区里大多数人则不感冒：用 Adam 不行吗，时间花在别处不好吗。后来 Shampoo 用在了 Gemini 1.5 Flash 上，社区才热起来，SOAP 等论文跟进，大约 2 倍的提升。他自己的评价更狠：Shampoo 依然很弱，训练时可用的大量信息根本没被用上。

**优化算法决定了你能发现什么架构。**这是他反复强调的一句话。残差连接对训练深网络极其有用，现在有人用更强的优化器把残差连接去掉，照样学到深层表示，前提是优化器够强。优化器和架构是一枚硬币的两面：强优化器配难优化的模型，弱优化器配好优化的模型，到处都是这种取舍。

RL 那头同理。模型要解码一长串思维链，才能把一比特的信息写进网络，反馈还稀少。**这是最容易拿到数量级提升的靶子。**

主持人问：能追上生物学习的效率吗？Rohan 的回答很干脆：至少在现有硬件上，够呛。他引 Jeff Dean 的说法，人脑是自己给自己建模计算：边长大边搭电路、边搭学习算法，死了，就都没了。神经网络反过来，硬件一直在，学得却很慢，要靠大量并行才能挤进去一点信息。除非硬件走向模拟电路、解决误差校正，否则差距还在。「我们（人类）是安全的。」

## 一座想让自己失业的实验室

Core Automation 的使命，Jerry 的总结很短：**造一个能从部署中持续学习的模型。**Transformer 做不到持续学习，也没有办法把持续学习装进 Transformer，所以必须找新架构。找的办法，是把实验室本身做到最自动化：快速、大规模地做实验，带着强先验，高效搜索架构空间。

他们的自动化观有点特别。Jerry 说，自动化的版本是给每个人最大程度的能动性。人走路有走路的距离，骑车能去更远的地方，开车能去更远得多的地方。人手耕田只能种一小块地，有了机器就能种一大片。**把人从环里彻底拿掉，暂时不在目标清单里。**

速度指标很具体：今天的流程下，一个研究者一天能跑成至少一个完整实验，就已经超过以往任何时代的迭代速度。没有哪条物理定律拦着，也许有一天是每天 10 个，再往后 100 个。整个团队高度 agent 化，用一个小团队，测一测组织效率的极限在哪。

AGI 的定义，Jerry 现在给得很具体：

> 「AGI 是一个能在完全没有人类参与的情况下改进自身的模型。」

这是「在经济价值工作上超过所有人类」的子集，因为改进 AI 模型本身就是人类在做的高价值工作。而把人类从环里拿掉，到目前为止出了名的难，他几乎找不到 LLM 纯自动跑通的任务。**人和 LLM 的混合体非常成功，纯 LLM 则完全不行。**2024 年到 2025 年初他看明白了：现在这条路到不了那里，需要在测试时学习上做真正严肃的研究。

六个月路线图，Rohan 讲得很实：自动化 kernel 生成。他们手上有 Blackwell 架构的 GPU，要压缩的时间是从「一个能让瓶颈消失的架构新想法」到「在 GPU 上跑到最高 TFLOPs」的距离。QR 内核比赛就是标杆：cuSOLVER 是基准，人类加搜索循环 7 倍，那位高品味人类带着 agent 烧 10 万美元做到 60 倍。**今天的模型离 60 倍很远，把 Anthropic、OpenAI、Gemini 的模型拉来，这道题都解不了。**这就是他们想自动化的内环。

为什么死磕 kernel？Rohan 做过三个项目，两个进了产业，两次都卡在同一处。二阶优化方法，kernel 是生死线，在 Google 不可能花 10 倍算力换 2 倍收益，预算只有 20%，kernel 效率决定项目活不活，全公司能写那种 XLA 深水区代码的只有两个人，写了两年。N-grammer 是 2020 年和同事做的项目，用额外的 n-gram 记忆替代 Transformer 的一部分参数，需要硬件加速稀疏的 gather 和 scatter 操作，跟 TPU 团队的会约了又约，赶上疫情，硬件始终没来。等他快离开 Anthropic 的时候，DeepSeek 发表了改进版的同类思路，用 n-gram 嵌入替代 MoE，scaling 曲线成立。一个想了五年的想法，别人先做出来了，他说挺为对方高兴。

他的结论：**不写 kernel，架构搜索的一大片状态空间根本进不去。**QR 这类基础操作跑得够快，训练、优化器、特征值分解的一整套新算法才打开。

怎么知道自己找到了？Jerry 的经验是，**每一份成功的研究，都有一张别的曲线画不出来的图。**那张图出现时往往已经很晚，因为早知道自己要找什么。他半开玩笑说，这辈子最好的几张图，都是先在梦里见到的。深度学习系统环环相扣，通常要连对五件事才能跑起来。他们要找的是测试时学习的系统，判据很日常：**Core Automation 的系统每天都在变擅长做 Core Automation 科学家的工作。**团队集体去度假一周，看实验室自己能不能产出更好的东西。度假回来发现有效果？那就把假期延长，两次、四次，直到永久假期。

最后，把这期节目里明天就能用的东西列出来：

- 给依赖的 AI 产品做一次「冻结测试」：假设模型一年不更新，现在的工作流还剩多少价值。哪些环节在吃模型的新知识，哪些环节真正需要持续学习。前者是工具，后者才是护城河。
- 评估模型和 agent，只看端到端结果：基准分数和困惑度式的代理指标，会被下一个环节的训练摧毁。拿自己的真实任务跑一周，记录成功率和返工率，比看任何榜单都有用。
- 挑一个有明确验证标准的瓶颈问题，让 coding agent 跑一次搜索循环：QR 比赛给出的参照系是，人类加自动搜索能拿 7 倍，舍得烧 10 万美元 agent 费用能冲 60 倍。工作里那个所有人都忍着的低效环节，值得先花一个周末试试。

Jerry 在节目最后留的那句话可以当注脚：最好的图先在梦里出现，剩下的时间，是把五件要对的事情一件件连上。