# AlphaGo老兵复盘：第37手曾被当成bug，LLM还差一个「AlphaZero时刻」 > Training Data No. 29 中文精读 - 原标题：ReflectionAI Founder Ioannis Antonoglou: From AlphaGo to AGI - 发布日期：2025-01-28 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/029-reflectionai-founder-ioannis-antonoglou-from-alphago-to-agi-6CMCke.html - 精读字数：约 4870 字（阅读约 11 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2016年3月，首尔，AlphaGo对李世石第二局。第37手落下，解说席安静了，职业棋手面面相觑。很少有人知道，DeepMind观战室里的团队第一反应也是懵的：他们以为程序出错了。 九年后，亲历者Ioannis Antonoglou坐在红杉资本播客Training Data的录音间里，把这段内幕讲了出来。他是DeepMind创始工程师之一，AlphaGo核心成员，后来联合领导MuZero，现在创办了智能体公司Reflection AI。 这期节目信息密度很高，几个关键数字先摆出来：早期AlphaGo跑在1200个CPU加176块GPU上；对战李世石的版本用了48块TPU，那是Google第一批自研加速芯片；AlphaGo Master在网上连战60位人类高手，60盘全胜；Ioannis预测，SWE-bench 50%的门槛一到三年内会被跨过，LLM的「AlphaZero时刻」五年内到来。 下面按他的讲述，把干货拆开。 ## 围棋为什么曾是AI圣杯 棋类一直是AI研究的试金石。图灵和香农早年都写过自己的国际象棋程序，上世纪90年代末IBM深蓝击败卡斯帕罗夫，是那个时代的里程碑。 围棋是另一个量级的难题。Ioannis的解释很直白：国际象棋可以数子，数一数双方剩什么棋子、什么级别，大致能判断谁占优。围棋没有这种现成评估办法，职业棋手判断局面，靠的是几千盘棋喂出来的直觉，说不出理由，但就是知道这边更好。 **怎么把人的直觉编码进AI系统，这是围棋长期被视作圣杯的原因。**它看起来几乎不可能，又感觉够得着。 还有个背景常被忽略。2015年前后，深度学习和强化学习还是「街区新来的小孩」，业内普遍怀疑深度学习又是一阵会过去的风。DeepMind从创立第一天就押注AGI，德米斯·哈萨比斯做过游戏行业，联合创始人肖恩·莱格的博士论文把AGI定义为「能学会完成任何任务的系统」，游戏受控又复杂、能清晰打分，成了天然的测试场。 游戏也有天花板。真实世界混乱、无边界，比最复杂的游戏都难对付。主持人Sonya Huang追问：游戏里的成果能泛化吗？Ioannis的答案是有条件成立。PPO算法在OpenAI gym、MuJoCo和Atari环境里被开发出来，后来ChatGPT做RLHF用的就是它；MCTS（蒙特卡洛树搜索）脱胎于双陆棋和围棋，进了MuZero，又被用进YouTube的视频压缩，还进过特斯拉的自动驾驶系统。游戏贡献方法论，真实世界拿去改造。 ## 拆开AlphaGo：两个网络加一棵搜索树 Ioannis按「讲给五年级小孩听」的标准拆了一遍。 神经网络本质是个黑盒函数，输入喂进去，输出吐出来，训练数据够多，它就自己学会映射。AlphaGo里有两个这样的网络。策略网络看一眼棋盘，给出一份值得考虑的落子清单；价值网络看一眼棋盘，直接输出当前局面的胜率。后者就是把职业棋手的「手感」变成了函数。 有了这两个网络，AlphaGo就能在脑子里下棋：考虑自己最好的几步，考虑对手最好的回应，再用极小极大原则评估，我要赢，对手也想赢，所以要选那步在对手全力应对下仍然最好的棋。高效完成这种推演的方法就是MCTS，本质是个启发式规则：该想哪些未来，才能做出靠谱的决策。 训练分两步。策略网络先学大量人类职业棋谱，模仿高手落子。然后自我对弈，用策略梯度法改进：一盘棋赢了，提高这盘里所有落子被选中的概率；输了，就降低。反复迭代，棋力上涨。再用改进后的策略海量对弈，让另一个网络学习「给定局面，最终谁赢」，价值网络就有了雏形。 工程量同样惊人。Ioannis说，AlphaGo与其说是研究突破，更像一个工程奇迹。早期版本跑在1200个CPU加176块GPU上，对战李世石的版本用了48块TPU，那批芯片还是第一代，又原始又不稳定。整个系统要压延迟、提吞吐，训练基础设施从零搭，每一步都顶着当时能力的上限做，还要让研究员能快速验证想法。 还有个花絮。主持人Stephanie Zhan提到，Ioannis以前说过，AlphaGo项目能启动，部分原因是Google手里有一批TPU，正缺一个测试客户。历史有时候就这么偶然。 ## 第37手是bug，第78手是镜子 团队当时对胜利有多大把握？Ioannis的用词是谨慎的乐观。AlphaGo主要开发者之一黄士杰是业余围棋高手，在AlphaGo之前已经做了十年围棋AI，内部排行榜上AlphaGo明显强过此前所有程序。但围棋太复杂，总有一丝担心：它真的有我们以为的那么强吗？ 验证只有一个办法。**这类系统不像经典计算机，永远给出同一个确定答案。它们随机、有创造力、有盲区，会像今天的LLM一样产生幻觉。要知道边界在哪，就得让最强的人类去跟它对打，往死里推它。** 第37手就是这样被推出来的。团队第一反应是程序产生了幻觉，下了一手它没打算下的棋。结果那是一步天才的怪棋，人类顶尖棋手从没想过可以这样下。它证明了系统对围棋有深层理解，也有真正的创造力。 第四局的第78手是反面。李世石下出一手AlphaGo没预料到的棋，AlphaGo把它误判成对手的失误，认定自己赢定了，没有认真应对。人类的天才灵光，正好打在系统的盲区上。 怎么修？团队先做了个基准，量化AlphaGo的失误和盲区，然后试了各种改进方法。结果最有用的还是那套老配方：换架构，改成带两个输出头的深度ResNet，用更大的网络、更多的数据，再往后就是AlphaZero。Ioannis说得很坦诚，规模和数据，这个AI领域人尽皆知的配方，在他们这里同样灵。 主持人追问：高手棋谱的数据质量重要吗？他的回答出人意料：**真正解决问题的是自我对弈。当时世界上最强棋手就在他们机房里，只是它不是人。** ## AlphaZero与MuZero：Q*和Sora的老祖宗 AlphaZero的变化在于，从随机权重出发，完全靠自我对弈，不用任何人类数据，从零下到超越人类。没有职业棋谱打底，起点反而更高，这事听起来反直觉，但它成立。这一步解决了两件事：训练流程更简单；证明AI可以纯靠自我博弈达到超人水平，于是能推广到没有足够人类数据的领域。顺便，幻觉和盲区问题也一并消失了，因为方法本身更好。 Ioannis给了一个关键概念：策略改进算子。拿一组策略网络和价值网络，配上搜索，就得到一个更强的棋手；把这个更强的棋手蒸馏回原网络，再重复。循环往复，直到收敛。 > 「这正是今天大家在Q*或合成数据上尝试做的事：对一个策略做点什么，规划、搜索、堆算力，得到一个更好的策略，再让模型去模仿、蒸馏回原策略。AlphaZero当年干的就是这个。」 MuZero再往前一步。AlphaZero还需要一个完美模拟器，得有人告诉它游戏规则，这在真实世界行不通，现实混乱、规则模糊，没人写得出现实模拟器。MuZero的做法是自己学一个内部世界模型，然后照常搜索规划。它只预测对做决策有用的东西：未来奖励、未来状态的价值、未来状态的策略。Ioannis点破，这跟Sora的思路同源，都是从数据里学世界怎么运转，区别在于MuZero只建模对解决问题重要的部分，当年模型容量有限，什么都学反而学不动。 这套东西已经出了实验室。MuZero进过特斯拉的自动驾驶系统，在他们的AI Day上披露过；YouTube的视频压缩算法里有它；化学领域有借鉴树搜索的AlphaChem，量子计算领域有人拿AlphaZero做优化。Ioannis补了一句，新技术被产业完全消化，向来需要时间。 ## 数据墙前，RL为什么回潮 LLM很强，但有个绕不开的限制：依赖人类数据。大家都在谈数据墙，高质量数据用完之后怎么办。 Ioannis认为这正是强化学习的主场。他把RL的定义放得很宽，凡是能通过试错学习的东西都算。RL用智能体自己生成的经验来提升自己，在人类数据稀缺甚至不存在的场景也能工作。**只要问题定义得对，强化学习本质上是用算力换智能，而且这种交换是确定性的：算力加码，网络加大，对局加多，棋手必然变强。AlphaZero当年就是这样。** 他引用了DeepMind内部的老框架：一个问题设定，一组解法。问题设定是，如何让策略通过与环境试错来改进；解法空间里有价值函数和各种经典方法。老方法要改造才能适配LLM世界，比如用奖励模型，或者让LLM给自己的输出打反馈，替代经典RL里的价值网络。Q*这类方法走的就是这条路。 合成数据这件事，他的态度很干脆：乐观还是怀疑，根本不重要，这是一道必须绕过去的障碍。人类能产出的数据就那么多，而且这些系统得开始行动、从自己的错误里学习。直接拿模型生成内容训练会导致模型崩溃，可新方法从来没有开箱即用的。他推测，Q*这类突破大概率已经存在，只是藏在了各公司的商业机密后面。 按他的时间表，文本数据还够用至少一年，多模态可能再续一年。墙会来，但他判断没人会真的撞上，因为合成数据的方法会在这几年里成熟。 推理能力同样绕不开RL。互联网上有海量数据，却缺少「有人一步步详细解释推理过程」的数据。模型靠模仿能学会一部分，想再往上走，就得让它生成合成数据、跟环境交互、被告知对错。 还有一个判断值得记下：**数字世界的AGI会远早于机器人AGI，因为数字环境虽然嘈杂，至少跑在计算机上，是可控的、有边界的。** ## 今天的Agent缺什么，明天能用什么 整期节目里最有分量的对比是这个：AlphaGo Master在网上连战60位高手，60盘全胜，稳得可怕。而今天的LLM Agent，惊艳的demo可能十次里出一次，剩下九次迷路、空转、什么都做不成。看着很好看，你没法信任它。 > 「我们要做的，是让LLM Agent变得像AlphaGo、AlphaZero和MuZero一样可靠。这是全新的开放问题。」 Ioannis把当下最需要突破的问题归成三个。 - 可靠性。让模型学会从错误中恢复，像人一样，犯了错能发现、能纠正。这是他眼中通往可靠Agent的根本路径。 - 规划。模型在行动前先想、先搜，推理时用规划换性能。他判断这类方法会越来越多。 - 上下文学习。系统看几个例子就学会新任务、用起新工具，知识不只存在权重里，还能在与环境交互中现场获取。他说未来两三年这个方向会有大进展。 对未来的时间表，他给得很具体：一到三年内SWE-bench跨过50%，三到五年到90%，前提是Agent先变得可靠；未来五到十年，模型会成为强大且可靠的智能体，独立执行任务，在各行业大规模采用，尤其是科学和医疗，这也是Reflection在做的事。 聊到行业里程碑，他列了一份清单：AlexNet证明深度学习是答案，DQN首次把深度学习和强化学习结合到人类水平，AlphaGo证明规模加规划的威力，AlphaFold证明这些方法能改善真实世界，ChatGPT把AI带给所有人，GPT-4让大多数人相信AGI只剩几年。他最敬佩两个人，导师大卫·西尔弗，AlphaGo和AlphaZero的领导者；伊利亚·苏茨克维，AlphaGo早期一起共事过，对规模化的执念造就了GPT-3和GPT-4。 作为创业者，他还聊了大厂和初创的差别。大实验室里项目众多，主线之外有一堆支线，支线拿不到资源和高层关注，慢慢萎缩。他把这叫「主线任务与支线任务」。初创没有历史包袱，没有不能砍的收入项目，没有繁文缛节，还能大胆用大厂碰不了的开源资源。他自己在DeepMind成立之初就是前几名员工，两种世界都待过。 快问快答里有个精彩的判断：ChatGPT的发布就是LLM的「AlphaGo时刻」，展示了过去十年的积累。但LLM还没有自己的「AlphaZero时刻」，也就是**更多算力直接换来更强智能、且不需要人类干预**的那个时刻。他赌它五年内到来。 明天就能用上的三件事： - 评估AI Agent产品，别看demo，看连续成功率。给自己定一个Master标准：这个工具能不能连赢60次？十次里成几次，比某一次多惊艳更说明问题。 - 把交给AI的任务尽量改写成有明确对错信号的形式，能自动验证对错的任务，最先吃到RL式改进的红利。 - 团队和个人都一样，定义自己的主线任务，砍掉拿不到资源的支线。支线的宿命是萎缩，早砍早聚焦。