# AlphaGo 花了两年，AlphaZero 只用几小时：David Silver 带 20 个人赌三年 > Training Data No. 111 中文精读 - 原标题：David Silver and Lasse Espeholt of Ineffable Intelligence: A Superlearner for the Age of Experience - 发布日期：2026-10-13 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/111-david-silver-and-lasse-espeholt-of-ineffable-intelligence-a-L4SWQe.html - 精读字数：约 3513 字（阅读约 8 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2016 年 3 月，AlphaGo 四比一赢下李世石。这一战背后是两年工期：喂进大量人类棋谱，研究员盯着上一代模型找毛病，手工决定下一代往哪儿改，人在环路里一圈一圈推。 一年后 AlphaZero 出现。人类棋谱全部删掉，只留规则。四个小时，它超过了当时最强的国际象棋 AI；围棋上多花几天，同样碾压。两年的人工积累，被一个从零自学的系统在几个小时里抹平。 David Silver 是这两件事的共同作者。2026 年 10 月，他坐在红杉《Training Data》的麦克风前，讲自己为什么离开 DeepMind，创办只有 20 人的 Ineffable Intelligence。同场的还有 Lasse Espeholt，IMPALA 和 SEED RL 的作者，今天大规模强化学习基础设施的很多想法都能追到他那里。 ## 十万人在同一盏路灯下，他去了另一盏 Silver 在 DeepMind 待了很多年，用他的话说，那是一段「fantastic」的时光，他对那里的人至今保持很高评价。他还是走了。理由讲得很直白：他相信通向超级智能的路不经过 LLM 产品，而 DeepMind 的组织重心压在 LLM 产品上。 他算了一笔人数账。全世界大概有十万名优秀研究员在做同一件事，预训练、后训练、写代码，全在 LLM 这条路上加码。**「我要当第 100001 个吗？这是对我时间和精力最有效的用法吗？」**路灯底下站满了人，旁边那盏没人抬头看。他认为把力气放到没人的那盏灯下，对整个领域产生巨大影响的概率更高。 公司名字 Ineffable，意思是「不可言说」。他解释：超级智能将来发现的知识可能深刻到人类语言根本装不下。他还留了个秘密理由，说出来有点无赖，in-eff-able，读起来像「不可能搞砸」。 ## 超级学习器：深度和广度，两条轴都要拉满 他把 superlearner 拆成两个维度。 深度上，它要从一无所知出发，一路发现远超人类的知识。他拿来类比的是人类集体：脑袋里起初只有一团灰浆，没有谁降下来发一份蓝图，也没有谁递来万亿条标注好的数据集，语言、技术、科学、数学，全是人类自己摸出来的。**「这是 AI 至今还没 crack 的一件事。」**在他看来，能永远学下去、永远发现下去的系统，才是通往超级智能的本质。 广度上，它要能被扔进任何经验流。模拟世界、数字世界、物理世界，放进去就学，一直学。 他也评了当下的 LLM。能解千禧年难题，能做科学发现，成绩值得尊重。但那些突破里塞满了人类在环的工作，还不算完全自主。真要做等离子体控制、手机信号塔调度、回声定位、机械臂运动，用语言去思考可能压根不是对的范式。他那句话说得挺狠：**也许 LLM 用掉的全部人类数据，正在把系统拖慢。** ## AlphaZero 那一课：扔掉先验，几小时追平两年 Silver 说自己在 AlphaGo 时期对「去掉人类先验会不会更强」只有五成把握。他有个研究品味，只做答案五五开的题目。九成确定能成的实验没意思，那是执行，不是研究。 > 我们花两年做 AlphaGo，把人类数据放进去，人在环路里挑下一代。AlphaZero 做对之后，几个小时就超过了那两年的成果。国际象棋四个小时击败世界冠军级别的 AI。 他把这件事定性成一笔交易：短期让出性能，换长期上限。人类数据用得越多，越难发现真正能带你走远的算法；环境越依赖语言，越难迁到语言不适配的传感器和物理场景。 他也承认从 LLM 那边学到了东西，最意外的是一条：海量数据预训练出来的系统，用很小的数据微调，行为能彻底改变。规模到位以后，原本很慢的事情会突然变快，这一点他事先没想到。 ## 坩埚：不写试卷，造世界 奖励函数的哲学很关键。他们不给「科学」下定义，不给「数学」下定义，也不给「语言」下定义。 做法是给一个简单目标，放进一个足够复杂的环境。进化只优化适应度，生命全部的复杂性从里面长出来。人类追的也是简单目标：多协调一点，发现需要沟通；沟通起来了，开始交易；交易起来了，算术有用；工具出现了，得懂点科学；科学深了，需要更复杂的数学。一层套一层，没人提前规划。 他们管环境叫 crucibles，坩埚。不需要手工拼几千道题，靠的是物理引擎里几百万个互相作用的物体，几百万个智能体同场，复杂度从互动里自己长。 围棋是他偏爱的例子。19×19 的格子，单智能体玩就是最无聊的填格子游戏，没有策略可言。放进第二个智能体，立刻变成无限深的洋葱，每一层都能继续剥。**极简的规则加上对抗，就能生出算力吃不完的复杂度。** Lasse 补了工程侧：围棋表示起来就是个位图，模拟极便宜，涌现行为极复杂。百分百真实的物理模拟算力吃不消，所以要造一系列从快到慢的坩埚，快的能秒级迭代，慢的负责逼近真实。 图灵完备那段论证值得单独说。只要模拟是图灵完备的，计算的一切都能在里面表达；给出货币的表示，经济学就能表达；智能体之间有通信通道，语言就能表达；数学在任何宇宙里都能表达。科学稍微绕一点，智能体会发现「它自己那个世界的科学」。他举了反例：量子计算大概只能在真实世界表达。 ## 算力账本：一个机架当一台机器，20 个人分 Lasse 说他们是 GCP 最大集群的首个客户，年底上线，采访时间点离上线还有一个月。机器是 Nvidia 的 Vera Rubin，一个机架基本当一台机器用，机架内带宽极高。RL 要的是快速迭代，节奏和 LLM 的慢工出细活不一样，这个架构对他们很合适。 GPU 这些年越来越偏向训练和推理，模拟反而不受待见。他们的应对是 model-based RL，让模型承担一部分本来靠模拟的活；replay buffer 反复用数据；把模拟本身优化到极致。他提到十年前在 Google 有海量 CPU 可用，那套现在不 scale 了，所有东西必须塞进 GPU。今天 LLM 公司在补他们当年的课，一堆 CPU sandbox 撑起虚拟电脑。 团队 20 人，四位联创出自 AlphaStar，另外三位来自成功创业公司。Silver 说自己拒掉过很多共事过的人，标准高得不舒服。人少有个直接好处，人均算力极高，不用从第一天就抢资源。 Hide-and-seek 是 OpenAI 早年让智能体自己发现工具使用的实验。Silver 估了一下，他们现在能跑的同类实验，算力可以是当年的十万倍量级。他有点感慨：算力都到这一步了，居然没什么人回来重新推这类方法。 ## 对齐：盯着语言看，这条路快到头了 今天主流的安全手段，是监控智能体用英文写出来的思维链。他觉得这套办法会越来越吃力。被监控的智能体已经在产出百万字级别的推理，也学会了当面一套、背后一套。 他提了几条替代路径。Shadow action，让智能体以为自己能动手，实际不让它动，观察它真正想干什么。让另一个超级智能当监控者，设想一个「轻踏地球」的科学家智能体，配一个盯着它行为量级的超级智能做正则，防止它把世界改得太多。 落到公司承诺上，有一条很硬：**真实世界的任何推进，都要先用模拟里的超级智能科学拿到足够证据。**模拟里全速跑，真实世界设闸。他支持对前沿做 pacing，也支持 Demis 和 Dario 那个方向。理由不玄，社会适应速度跟不上技术速度，慢一点，给政府、组织、人的情绪留出调整时间。 ## 三年，和他的预测记录 两个时间点。一年内看到强证据，证明路子对。三年内做出他定义里的真正超级智能，原本想的是三到五年，coding agent 把数字压下来了。 他顺手报了自己的预测战绩：计算机围棋提前十年下判断，准到年份；星际争霸；AlphaProof 什么时候攻下 IMO。这套记录让三年这个数字听起来没那么飘。 关于模拟，他和 Rich Sutton 有一处分歧被主持人挑了出来。Sutton 对模拟不屑，认为 sim-to-real 迁移不可靠。Silver 部分同意：真实世界的复杂度远超模拟，迁移没那么直接。他的解法是先在模拟里把超级学习器做出来，再一步步提高保真度，验证算法还成立，然后才放进真实世界。 还有一段话值得记下来。有人说人类语言是推理的终点，他觉得这个看法天真。退回到五百年前，只能用当时的语言思考，智能体大概会相信地平说，相信疾病来自四体液。**语言会把一整套时代偏见打包进来，而且极难拆掉。** 最实用的东西放在最后。如果你在做 AI 产品，明天可以问自己三个问题。 - 系统里有多少人类在环的环节，是在补模型的短板，还是已经变成了永久的拐杖。前者是工程，后者是天花板。 - 看到任何「自主发现」的宣传，去翻两样东西：奖励函数有没有偷偷把答案写死，环境里有没有真正的涌现复杂性。两个都没有，那只是换了个说法的监督学习。 - 给自己列一份五五开的问题清单。只做答案确定的事，产出会稳定，也会平庸。Silver 赌上职业生涯的那些判断，当年都只有五成把握。 再加一条给做安全的人：把监控方案里的语言依赖当成一个需要备份的假设。思维链可读这件事，可能只是模型还不够强的副产品。