# 图灵奖得主 Sutton 创业 Oak Lab：大模型最大的病，是权重再也不更新了 > Training Data No. 106 中文精读 - 原标题：Rich Sutton and Khurram Javed: Why AI Models Stop Learning, and How to Start It Again - 发布日期：2026-08-18 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/106-rich-sutton-and-khurram-javed-why-ai-models-stop-learning-an-xH7U7w.html - 精读字数：约 5363 字（阅读约 12 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2003 年，Rich Sutton 正被癌症拖着走，用他自己的话说，「我当时正在死去」。没死成的他跑去阿尔伯塔大学教书，在 AI 寒冬里继续死磕强化学习。为什么自觉只剩几个月还要做研究？他引用本杰明·富兰克林的说法：一个人做什么事，原因无非两个，习惯，或者虚荣。他猜自己靠的是习惯。 后来人活了下来，理论也等来了兑现。AlphaGo 靠他的强化学习赢下李世石，2019 年他写的《苦涩的教训》成了行业圣经，2024 年他和 Andrew Barto 拿下图灵奖。2026 年 8 月，Sutton 带着前博士生 Khurram Javed 上了红杉播客 Training Data，宣布两人创办了新公司 Oak Lab，顺带把当下的主流路线批评了一圈：合成数据「是一个大错误」，权重冻结的模型谈不上在学，整个领域卡在局部极小值里。 先交代两个人。Sutton 被称为强化学习之父，写了这个领域的标准教科书，带出了 David Silver 这样的学生。Khurram 是他在阿尔伯塔大学的博士生，两人的合作纯属自然生长：Khurram 硕士毕业本来打算进工业界，一个项目里被拉去跟 Sutton 协作，半年做出进展，顺势转成博士课题，从头到尾没填过「请您收我当学生」的申请表。Sutton 对挑学生的总结很谦虚：有时运气好，有时运气差，David Silver 是自己找上门的。 ## 苦涩的教训，26 个词的版本 Sutton 开场先纠正一个印象。总有人问他为什么观点这么激进，他的回答是，激进的是别人。在「AI 热」出现之前，没人需要发明「持续学习」这个词，因为不存在不持续的学习，边行动边学习本来就是心智的正常运转。专门造一个术语，反而暴露了领域跑偏。 主持人 Sonya Huang 说，她开会听到最多的句式就是「这符不符合苦涩的教训」。Sutton 承认这个词被用歪了，他最近在 X 上试着用 26 个英文单词重新讲一遍：别像 AI 史上反复发生过的那样被人类知识分心，去关注能随算力扩展的方法，比如搜索和学习。Alfred Lin 以为关键词是数据，Sutton 纠正：要替代的是人类输入。 > 它没说你不需要精巧的算法。你需要精巧的算法，但得是那种能随算力扩展的精巧算法。 那 LLM 算不算符合苦涩的教训？Sutton 的答案：既是正面例子，也是反面例子。正面在于，LLM 把「随算力扩展」做到极致，把整个互联网一口喝进去，能力靠规模长出来。反面在于，互联网是有限的，人类产出的文本是有限的，**靠人类知识喂出来的系统，迟早被人类知识撑住**。而世界，比互联网上存下的一切大得多。 ## 合成数据，他的回答是一个「No」 Sonya 追问：现在各大实验室都在做合成数据，想突破人类互联网这块「化石燃料」，这算不算一种利用算力的通用方法？ Sutton：「No。」 追问原因，他答得更重：「那是一个大错误。」甚至可能是「下一个大教训」。 Khurram 把论证展开。第一个问题是：谁来决定什么是好的合成数据？现在是人。人写程序生成数据，人判断数据好坏，**整条管线被人类专家卡住脖子**。他举了个例子：想造一台像蝙蝠那样靠回声定位飞行的无人机，正确的合成数据长什么样？没人知道，得先雇到懂行的领域专家，让专家把方案想出来。专家得先存在，扩展就卡在这。 Sonya 不服，拿自动驾驶反驳：最新一批自动驾驶公司主要在仿真里训练，管线很有效。Khurram 反问了一个数字问题：造那个仿真器用了多少工程师？而且仿真器从来不是一次做对的，团队反复迭代，发现仿真到现实的差距不能接受，就由工程师去修仿真器，修完再训。**人在回路里修仿真器，这本身就是持续学习，只是干活的换成了工程师。**为什么不能把人拿掉，让智能体自己来？ Sutton 补了一句：真车上路，还是会有意外发生，那时候才真正需要从经验里学。 Khurram 给出替代方案：仿真和规划都有价值，但仿真器应该由智能体从自己的经验里学出来。自己学的模型错了，自己能靠持续学习修；人写的仿真器错了，要等人发现才修得动。 Sutton 把这事推到哲学层面。任何合成数据都出自一个小程序，小程序生成的是小世界。他现场举例：此刻对话者脑子里在想什么，对他很重要，他当天还要跟这两人聊投资。可怎么为别人的心智造合成数据？造不出来。机器人电机的摩擦和磨损，跟物理世界的每一次交互，同样造不出来。 这就是两人说的「大世界假说」：世界比任何智能体的心智都复杂得多，因为世界里装着无数个其他智能体。推论很硬：**任何系统都不可能最优，近似必然严重，所以必须持续学习**，撞上世界的哪一块，就针对哪一块调整自己的近似。Khurram 后来把它写成一篇小论文，标题就叫 The Big World Hypothesis。 ## 「权重从不改变」 Sonya 问：现在流行的 LLM 助手，算不算体验式学习者？Sutton 反问：「你是认真的吗？」Sonya 试图补救：它们会记住用户偏好，会做上下文学习。Sutton 只重复一句：它们的权重从不改变。 他的依据很朴素：**这些模型的权重从不改变。**运行时跟人对话、跟环境交互，但那颗大脑是冻结的。可以给上下文，上下文只是改状态，改状态不叫学习。Sutton 顺便澄清，他从不反对先验知识，《苦涩的教训》开头就写了，先验和学习本该是朋友，先装一些知识再开始学，没有原理上的冲突。他看不惯的是实践：热爱既有知识的人总想让先验赢，于是贬低学习。现在轮到反向的版本，全世界都在说把知识灌进去就够了。**一个权重永不更新的东西，被指望提供博士级的专业判断，在他看来这才是怪事。** 红杉另一位主持人 Alfred Lin 问：是不是预训练和后训练做太多，上线之后不让它学了？Khurram 说这是唯一的大分歧点：预训练随便做，后训练也没问题，问题出在用户用模型的时候，它停止学习了。 市面上有两个罕见的正面案例：Cursor 的 Tab 补全模型和 Composer 模型，权重真的在更新。但 Khurram 指出局限：收集几十万用户的数据，攒成一大批，做一次统一更新。这能跑通，可如果有人想教自己的模型一件很具体的事，就得跟十万个用户抢话语权。**批量更新做通用改进可以，做个人化效率极低。**Sonya 总结当前的心智模型：通用能力放权重里，个性化放上下文里。Khurram 的回应是，上下文放状态里没问题，但权重必须可更新，否则个性化永远停在「调状态」，到不了「学会」。 人脑给出的参照系要夸张得多。Khurram 举了本体感觉的例子：人靠体内传感器感知身体位置，这是走路策略的地基。有病人完全失去这种感知，连路都不能走，但两三年里，他们能靠盯着自己的脚、用视觉反馈重新学会走路。**一个成立二十年的事实失效了，大脑能把它更新掉。**这是他最想在机器上复现的能力。 顺着大脑可塑性，话题转到该向生物学习什么。Sutton 的判断听上去很极端：**没有动物靠监督学习，因为没人给我们肌肉该怎么抽动的样本。**学校在这里是干扰项，松鼠不上学，人类有几百万年也没上学。学会看、学会走、学会世界怎么运转，全都没有标签。「巴黎是法国首都」可以有人告诉你，但没人能告诉你，嘴、舌头、声带该怎么动才能发出 Paris 这个音。Khurram 补了一刀：就算照着 Sutton 的口型一模一样地动，发出来的声音也不一样。自己的身体该怎么动，只有自己知道，只能从经验里试出来。 Sonya 反驳：松鼠再厉害也不会证数学定理，学定理还是得上学。Sutton 搬出莫拉维克悖论：定理和棋这类「高级」活动对计算机反而容易，移动、观看、注意这些日常本领反而难。松鼠不会证定理，但它总能想出新办法进你的鸟食罐，坠落时能实时调整姿势不受伤。 Alfred Lin 站到 Sonya 一边，抛出更难的问题：造火箭需要在发射前想象一个从没发生过的事，机器怎么学会想象？Sutton 完全同意规划和想象的必要性。Khurram 补上关键一刀：一千年前的智人和我们本质上是同一台机器，差别是文化积累。范式转移的时刻，比如爱因斯坦那种，是一个人攒够了知识，从自己的经验里造出新抽象，用新抽象规划，发现新知识。**自己造抽象、学世界模型、再用模型规划，这个技能在当前系统里完全缺失。** ## 药方：阿尔伯塔计划第 2 步 Sutton 对领域的诊断很重：**整个 AI 领域还没有一个「学出模型、再用模型规划」的实例。**AlphaGo 能行，因为围棋规则是给定的；数学能行，因为 Lean 这类证明助手把算子给定好了。一旦模型要靠自己从经验里学，抽象要自己发现，目前是空白。 这两人没停在嘴上。2022 年 Sutton 发布了《阿尔伯塔计划》，12 步研究路线。第 2 步是持续深度学习，他认为这一步几乎最重要，因为它解锁后面所有步骤：能持续学，才能持续更新世界模型。计划的后半部分全部在讲怎么把抽象学对。措辞有讲究，没人能事先说清什么是「正确的抽象」，抽象取决于智能体所在的那个世界，只能自己学出来。Khurram 用顶级运动员打比方：问他们怎么完成某个动作，会得到一堆怪异的小众术语，有的动作连名字都没有。这些抽象从哪冒出来，正是最难的那部分。 Sonya 问：持续深度学习到底缺什么？天真地拿用户数据更新权重，今天就能做。Khurram 的回答：纯算法缺口。拿一个样本更新整个模型，旧知识会被冲坏，这就是灾难性遗忘。Cursor 靠大批量数据绕开它，但大多数场景只有单一数据流，绕不开。 Sutton 给了两味药。第一味，步长优化：网络里每个权重有独立的步长，而且靠元学习学出来。大多数权重步长极小，新样本来了冲不掉旧知识，只有该动的地方动。第二味，生成加测试：在特征空间里直接提出新单元，别全指望梯度。梯度太慢，只在已知有益的方向上挪，给不出越学越复杂的增长路径。 落到具体算法，是 2024 年发表在 Nature 上的持续反向传播（continual backprop）。跟普通反向传播一样跑，但持续播下新单元的种子，用随机初始化的权重。普通反向传播的随机性只在开局存在，跑着跑着多样性就用光了；持续反向传播不断注入一点随机性，反向传播负责当测试官，留下有用的，淘汰没用的。Sutton 的预期是，这两味药配好了，会有一代强得多的新算法。 Khurram 特别提醒：这些算法没法直接套在现有模型上，因为它们在学知识的同时还在学「以后怎么学」。想用，就得带着新算法从头训一个新的基础模型。 ## Oak Lab 押注什么 被问到公司最激进的地方，Sutton 拒绝「激进」这个词，理由还是那句「我不奇怪」。换成「最有野心的事」，他的答案是：覆盖从微小到宏大的全部知识谱系，用统一的方式处理，并且让系统自维护。他举的例子是「怎么把飞机从一个城市开到另一个城市」。LLM 保持知识正确的办法，是后训练时校对好然后冻结；人的心智一直在变，却始终能保持组织、连贯、回到正轨，不漂向疯狂。**做出一个自洽的、能持续训练自己并保持连贯的心智，这是他们最大的野心。** Alfred Lin 把愿景翻译成一个数字：万亿参数，20 瓦功耗。Khurram 承认现有技术做不到，光是把万亿参数存进内存，功耗就超过 20 瓦。但他算了一笔摩尔定律的账：每 18 个月翻一倍，10 年就是两个数量级。今天 2000 瓦能干的事，10 年后 20 瓦就能干，而他相信用对的算法，现在就能比 2000 瓦更省。Sonya 问那为什么别人不做，Sutton 幽默了一句：好像他们就想烧钱，烧得多显得是真汉子。 Khurram 的正经答案更值得记：**整个领域卡在局部极小值里。切换到新范式，几乎必然先变差再变好，而大厂被产品锁死，走不了先变差的路。**他看了一圈各个研究组，甚至没人相信 20 瓦是可能的。不信，就不会有人去啃那些要琢磨很多年的技术难题。 公司的形态跟这个判断一致：小团队起步，先招十几到二三十人，每个加入的人都要「看到我们所看到的」。Sutton 说这叫 super aligned，内部高度对齐才跑得快。如果一切顺利，他们要的是真正的持续学习、自己形成的抽象、用模型完成的规划和推理。Sutton 顺手给 LLM 定了个位：它是了不起的科学突破，神经网络把语言用得这么流畅完全出乎预料，语言曾经是符号方法最后的堡垒。**但语言的流畅运用只占智能的两到三成，它不该假装自己是全部 AI。**等新范式到来，他担心有风险的反倒是 LLM。 还有一个容易误解的点：Oak Lab 要做的并非一个学会一切的大模型。大世界假说决定了没有系统能学尽万物，两个最大的系统复杂度相当，谁也建模不了谁。未来是单一设计跑出很多个心智，各自从自己的经验里学不同的东西。Sutton 还给了个画面：等真有智能机器人，没人会为每台机器花天价重新训练，直接复制上一台，让它接着学。先验靠复制继承，学习负责增量。 ## 明天就能用的三件事 - **评估 AI 产品，加一条硬指标：它有没有权重级学习。**上下文记忆会被清空，权重更新才会积累。Cursor 的 Tab 是正面例子，纯靠长上下文做「个性化」的产品，天花板一眼能看到头。 - **听到合成数据叙事，先问一句：好数据的判断标准是谁定的？**如果答案始终是人，这条管线就带着人类瓶颈，规模堆得再大也绕不过去。 - **记住 Khurram 的局部极小值判断：先变差再变好的路，被产品锁死的大厂走不了。**范式切换期，这是留给小团队的窗口，选方向、选雇主时可以把它当筛子。 回到 Sutton 开场那句话。人们觉得他激进，他觉得正常的定义很简单：边行动、边学习、边修正，学习从来都是持续的。按这个标准，一个上线那天就停止学习的模型，确实很难说它在「智能」地工作。