# AlphaGo 每步棋想 30 秒，o1 把「多想一会儿」做成了通用能力 > Training Data No. 17 中文精读 - 原标题：OpenAI's Noam Brown, Ilge Akkaya and Hunter Lightman on o1 and Teaching LLMs to Reason Better - 发布日期：2024-10-02 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/017-openai-s-noam-brown-ilge-akkaya-and-hunter-lightman-on-o1-an-jPluSX.html - 精读字数：约 5524 字（阅读约 12 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2024 年 9 月 12 日，OpenAI 发布 o1 系列模型。发布后不到三周，红杉资本的播客 Training Data 请到项目背后的三位核心研究员：Noam Brown、Ilge Akkaya 和 Hunter Lightman，聊了一个多小时「教模型学会推理」这件事。 访谈里有个流传不广的细节：研究论文提到，o1 在 OpenAI 自己的研究工程师面试中通过率相当高，Hunter 顺口补了一句，这个模型已经往他们自己的代码库里提交过几个 PR。主持人 Sonya Huang 追问，那以后 OpenAI 是不是可以直接雇 o1。Hunter 回答：「我觉得还没到那个水平。也许是我们的面试题该改进了。」 三位嘉宾来头都不小。Noam Brown 是游戏 AI 领域的明星，读博期间做出的 Libratus 和 Pluribus 先后在双人德州扑克和六人德州扑克上击败人类顶尖职业选手，2023 年加入 OpenAI。Ilge Akkaya 在 OpenAI 待了五年半，最初加入的居然是机器人团队。Hunter Lightman 入职两年半，大部分时间都在教语言模型做数学题。三人都是「草莓项目」（Project Strawberry）的研究员，这个代号最终变成了 o1。 被问到 o1 的原理时，Ilge 能透露的不多，但给了核心一句：o1 系列用强化学习训练出了「思考」的能力，和以往的大模型有本质区别，而且这种能力已经泛化到很多不同的推理领域。整场对话，基本就是围绕这句「本质区别」展开的。 ## 什么是推理：验证比生成容易的那些事 Noam 给了一个务实的定义，从人类的 System 1 和 System 2 讲起：System 1 是本能式的快速反应，System 2 是更慢、更讲过程的思考。有些任务，想再久也没用。 > 「我问你不丹的首都是哪，你想上两年，正确率也不会提高。」Noam 说完，主持人 Pat Grady 立刻反问：「那不丹首都是哪？」他老实承认自己不知道。（顺带一提，答案是廷布。） 另一些任务正好相反，数独是典型例子：找到正确解很难，验证一个解对不对却很容易，时间够多的话，穷举总能撞上答案。**Noam 把这类问题的特征概括为「生成与验证的差距」：生成一个正确解很难，认出正确解很容易。**所有问题都分布在这条光谱上，一端是数独，另一端是不丹首都这种知识检索题，验证难度和生成难度一样大。 这个定义直接解释了 o1 的成绩单。STEM 题目大多落在「验证比生成容易」的一端，所以 o1 在数学、编程、科学上提升最明显。论文里的 GPQA 测试是个硬证据，这套题出给博士生做，o1 的表现已经超过了不少人类博士生。 ## AlphaGo 的 30 秒，被低估的一半功劳 Noam 过去十年都在做游戏 AI，这段经历直接塑造了他对 o1 的判断。他回顾 AlphaGo：那个机器人每步棋要想 30 秒，如果强迫它立刻落子，棋力会明显低于人类顶尖水平。**AlphaGo 的强大有相当一部分来自「多想的那一会儿」，这一点在当时被严重低估。** 但 AlphaGo 的思考方法有个致命限制：蒙特卡洛树搜索。这套方法在围棋上好用，搬到扑克上就失灵，而扑克正是 Noam 早年的研究领域。在他看来，此前 AI 突破的格局一直很拧巴：神经网络这个负责快思考的部分已经足够通用，负责慢思考的方法却各自绑死在特定领域。**o1 真正的区别在于，「多想一会儿」的方式本身是通用的，同一套方法可以跨领域工作。** Hunter 补充了另一个视角：语言模型的接口是文本，文本天然适配所有类型的问题。团队做的事，本质上是第一次在这个通用接口上跑通强化学习，然后看它能通向哪里。 ## 信念是怎么熬出来的 这场访谈出现频率最高的词，可能是「信念」。o1 并非横空出世，Noam 明说，背后是多年研究，其中很多都没跑通，是 OpenAI 管理层愿意在这个方向持续投钱，才熬到收获期。 三个人的信念路径各不相同。Ilge 在 OpenAI 五年半，承认自己「错了好几次」：入职时认定具身智能、机器人才是通往 AGI 的路，所以第一个团队就选了机器人，后来这条路撞了墙。ChatGPT 让她看到范式转移，o1 是她看到的下一条可能的路。 Hunter 的转折点最有画面感。他长期怀疑一件事：自回归语言模型只会一个 token 一个 token 往下预测，怎么可能学会回溯？直到某次训练后，模型在数学评测上的分数超过了团队此前所有专门搭建的系统，大家去读思维链，看到了这样的内容：「等等，这里是错的，让我退一步，重新找正确的路。」**回溯出现了，而且是自发涌现的，这是他信念确立的时刻。** Noam 的版本更朴素。他入职时带着一个观察：ChatGPT 回答得太快，完全没有思考，而游戏 AI 早已证明，多想能换来巨大提升。团队讨论过很多种教模型自我纠正的方案，最后决定先试最笨的基线：让模型多想一会儿。结果回溯、自我纠正这些他们苦思如何教的能力，几乎自己长了出来。用他的话说，它来自一个如此干净、可扩展的路径，方向一下子清晰了。 > Hunter 在访谈里替他补了一句：「项目里好几个节点，Noam 都会说，为什么不让模型多想一会儿？然后我们照做了，然后它就变强了。然后他会用一种奇怪的眼神看着我们，好像在说你们之前怎么不这么做。」 这段历史还有个更大的背景。Sonya 提到 Noam 发过一条推文，说深度强化学习走出了「幻灭低谷期」。Noam 展开讲了这十年：2015 到 2019 年，从 DeepMind 的 Atari 到 AlphaGo，深度强化学习是最热的方向，他读博时正赶上。但有个细节被忽略了，AlphaGo 的起步靠的是大量人类棋谱，强化学习是后面的步骤。后来的 AlphaZero 不用人类数据从零自学，成绩更好，于是学界形成一种偏好，把人类数据当成「不纯」，追求从零学习。GPT 范式在这种氛围下长期被冷落，只有 OpenAI 看到早期结果后持续加注。等 GPT-3 出来，大量不靠深度强化学习的成功摆在眼前，很多人离开了这个领域。**o1 证明的是，深度强化学习和大模型结合，才有机会做出 GPT-4 级别影响力的成果。**此前的深度强化学习高光成果再惊艳，适用面也窄，没有一个能和 GPT-4 的影响力相提并论。 ## 长板很硬，短板也很真实 o1 发布后，团队自己也盯着 Twitter 看用户拿它做什么。Ilge 最兴奋的反馈来自医学界：有做了多年癌症研究的人，把基因发现、基因治疗方向的想法拿去和模型对谈，得到了不少新颖的研究路径。她的原话是，模型显然不能自己做研究，但可以做一个很好的合作者。Hunter 把这种做法归功于 OpenAI 的迭代部署策略：把技术安全地放出去，看世界怎么用它，再把观察带回来改进研究。 至于模型本身的边界，几个人都没回避。Sonya 问了个尖锐的问题：AlphaGo 有震惊世界的第 37 手棋，o1 有没有属于自己的「第 37 手」？Hunter 给的答案相当泼冷水： > 「我不觉得那是天才灵光一现的时刻。更像是模型不会标准解法，就一直撞墙，撞出了别的路。」 他讲的是国际信息学奥赛（IOI）里的一道题，o1 坚持用一种很怪的方法解，懂竞赛编程的同事研究了半天没搞懂为什么，最后模型解出来了。整场比赛还有个更扎眼的现象：有一道题人类选手做得很好，模型几乎无从下手；另一道人类做得差的题，模型反而拿到一半的分数。结论是，模型解题的思路和人类不一样。Ilge 还见过模型解几何题时用文字「可视化」：先描述把点放在球面上，再一步步推概率。她说看到这一幕很吃惊，因为这就是人类自己的思考方式。 能力边界上，Hunter 自己的处境是个好注脚：**o1 的数学已经比他强，但做软件工程还是不如他。**他说，如果他的工作是整天做 AIME 竞赛数学题，那他已经失业了。至于流传的「o1 智商 120」，Hunter 提醒那是某几个测试上的数字，同一个模型在创意写作之类的项目上低于 40。Noam 补充，GPQA 上超过很多博士生，不代表每个维度都比博士生强，**同一套测试，人类做和 AI 做，测量的东西并不一样**，评测只是人类智力的代理指标。 思维链对外隐藏这件事，官方博客明说了部分原因是竞争考虑。Noam 说这个决定内部没有争议，逻辑和不公开前沿模型权重一样，暴露思考过程有风险。Ilge 给外行解释了思维链是什么：让人解一个积分，大多数人需要纸笔，把复杂方程一步步化简到最终答案，答案可能只是个 1，但怎么走到这个 1，那条路径就是思维链。o1 的思维链是人类可读的，Hunter 觉得这是这次发布最酷的地方之一，可以围观模型怎么想。 还有个误会需要澄清：项目代号 Strawberry 和「strawberry 里有几个 r」那个著名问题毫无关系。Noam 说看到网上那个问题时，团队一度紧张，怀疑项目名被内部泄露了，后来确认纯属巧合。Hunter 的版本更接地气：某天有人需要起代号，房间里正好有人在吃草莓，就这么定了。 Noam 还提到一个差距：模型的原始智能和它的实际有用程度之间有距离，很多任务上它本可以更有用，还需要迭代来解锁更通用的用处。Hunter 承认，**o1 绝对没有在所有事情上更强**，用起来是个有点怪的模型，网上的人还在不断找到新的提示方法让它表现更好。他拿一年前的行业做类比：当时人们围绕 GPT-4 摸索出语言模型程序（LMP）的玩法，催生了一批更聪明的软件工程工具，o1 之上也许会上演类似的进程。 ## 第二条扩展曲线，天花板比想象的高 Sonya 把论文里那张推理时计算扩展定律（inference-time scaling laws）的图称为整份研究里最重要的一张图。Noam 的回应是，他也认为意义深远，发布前还担心外界意识不到，结果大量的人看懂了，这让他意外又高兴。 背景是业界的集体焦虑：预训练越来越贵，高质量数据接近见顶，AI 要撞墙的声音不断。o1 给出的答案是另一条扩展维度，让模型在推理阶段多花算力，能力随之提升。**这条曲线目前几乎没被开发过，天花板比大多数人以为的要高。**Noam 强调，o1-preview 的意义主要指向未来，它今天能做什么反而是次要的。发布前团队内部还辩论过：大家会不会失望，觉得它没有全面变强？还是会被疯狂的数学成绩打动？他们真正想传达的只有一个信息，重点在于这个模型正走向哪里。事后看，外界读懂了。 这条路有多难，Noam 拿历史做参照：GPT-2 到 GPT-3 再到 GPT-4，方向明确，无非加数据加显卡，真走完还是花了好几年。**把一个听起来简单的想法真正扩展到大规模，中间隔着海量工程。**Hunter 补充，很多从学术界加入 OpenAI 的人都会惊讶，这里解决的问题里工程占的比重远超研究：在没人用过的全新系统上，跑没人发明过的算法，规模是没人试过的。Ilge 提到第三个约束：得知道该测什么。标准评测之外，还有很多模型可能擅长但没人测过的领域，找到它们本身就是工作。 至于模型最多能想多久，主持人 Pat 打趣，问是不是有个后台任务正在琢磨「解决世界和平」。Hunter 一本正经地回答，o1 发布还没几年，还没机会让它想那么久，然后引用了阿西莫夫的短篇《最后的问题》：人类问超级计算机如何逆转熵增，计算机回答「数据不足，无法给出有意义的答案」，接着想了十年、一百年、一万年。Noam 给了个技术性答案：理论上把所有数学形式化进 Lean 这样的证明助手，穷举所有可能的证明，总能撞上定理，但收益递减来得很快。Hunter 期望的图景更近：让模型在已经擅长的任务上想得更久，比如成为真正能用的数学研究助手。他提到一位大学数学教授发推，说 o1 解出了一道人类早已解决、但 AI 从未解决过的证明题。**如果模型能帮忙证明真实研究里的小引理，那就是突破。** 聊到方向感，Noam 讲了一个入职插曲：加入 OpenAI 之前，他一直怀疑这家公司真把 AGI 当目标，入职第一天的全员大会上，Sam 把短期和长期优先级讲了一遍，他信了。**OpenAI 没有哪个具体应用是优先级，唯一的优先级是 AGI。**至于判断标准，Noam 开了个玩笑：等公司把所有职位招聘撤下来的时候，要么公司成了，要么完了。Hunter 的定义认真一些： > 「大概就是模型能完成的经济上有价值的工作比例。这个比例会在未来几年里快速爬升。那种事，你感受到的时候自然就感受到了，我们也会不断把门槛往后挪，直到某一天，你和 AI 同事并肩工作，它们干着你如今大部分的工作。」 ## 明天就能用的五条结论 访谈结尾，Sonya 问创业者该怎么在 GPT-4 和 o1 之间选，Hunter 开玩笑说「要是你们能替我们想明白就太好了」，Noam 补充，发布 o1-preview 的动机之一，就是让外界帮团队摸清它到底适合什么场景。结合整场对话，有几条判断明天就能用上。 - **用「验证差距」给任务分类。**要解决的问题如果验证答案比生成答案容易，比如数学、代码、逻辑分析，交给 o1 这类推理模型，并且给它时间；如果是知识检索、常识问答这类想再久也没用的任务，快速模型更划算，省下的推理算力是真金白银。 - **写提示词时给模型留退路。**o1 的核心行为是回溯和自我纠正，提示里明确允许「先试一条路，发现不对就退回来换条路」，比要求一次答对更符合这类模型的工作方式。 - **别用单一分数判断模型。**同一个模型，数学测试上是 120 的水平，创意写作上可能低于 40。选模型先看自己的具体任务，再找对应领域的评测。 - **小模型先行。**Ilge 说得直接，模型快，就人人可用。o1-mini 便宜、快，先用它验证产品方向，跑通了再决定要不要上更贵的大模型。Hunter 给出的公式值得记住：**进展等于前进幅度乘以迭代速度。** - **关注斜率，别只看今天的分数。**Noam 反复强调 o1-preview 的意义在未来。评估这类推理模型时，真正该盯的是那条随思考时间增加而上扬的能力曲线，单一静态 benchmark 只能当参考。 最后借用 Hunter 的那句自嘲收尾：o1 的数学已经比他强，但他还保得住软件工程师的工作。这个「还有工作要做」的间隙，就是未来几年所有人做事的空间。