# Deep Research 上线三周爆火，OpenAI 团队却说：做智能体，别画流程图 > Training Data No. 33 中文精读 - 原标题：OpenAI’s Deep Research Team on Why Reinforcement Learning is the Future for AI Agents - 发布日期：2025-02-25 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/033-openais-deep-research-team-on-why-reinforcement-learning-is-bNEvJY.html - 精读字数：约 4309 字（阅读约 10 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 一个 AI 产品，回答一个问题要等 5 到 30 分钟，上线三周却成了硅谷的焦点。Stripe 创始人 Collison 兄弟拿它做行业分析，有医生用它给病人找临床试验，还有人拿它策划孩子的生日派对。 它是 OpenAI 的 Deep Research，2025 年 2 月初上线。红杉资本的播客 Training Data 随后请到两位产品负责人，Isa Fulford 和 Josh Tobin，把来龙去脉聊了一遍，干货不少。 先认人。Isa 是 OpenAI 后训练团队的核心成员，Deep Research 的最初想法来自她和同事 Yash Patil。Josh 的路径更绕：早期在 OpenAI 干过，出去创了业，还做过咨询顾问，半年前刚回来，挑项目时选中了这里。他读博时的导师是强化学习名家 Pieter Abbeel，这个信息后面还会出现。 ## 从推理模型里长出来的产品 Deep Research 的形态不复杂。在 ChatGPT 里给它一个任务，它自己去搜几十上百个网页，读材料、辨信源，最后交一份带引用链接的研究报告。普通 ChatGPT 几秒出答案，它要 5 到 30 分钟。这是 OpenAI 继 Operator 之后的第二个智能体产品，Isa 说，后面还有一串。 起源在一年前。团队在推理模型上尝到甜头，就是那种先思考再回答的训练范式，重心当时放在数学和科学题上。但他们很快意识到，这套方法解锁了另一件事：**模型能干更长的活了**。大量真实工作需要网上调研，要边搜边判断，看到什么材料就调整下一步策略。训练方法到位后，他们决定用训练推理模型的同一套方法，去训模型做浏览任务。 原型出自 Isa 和 Yash Patil 之手，后来加入的 Thomas Dimson 被 Isa 夸成「什么都能钻进去、一口气干完一堆事」的工程师。 给谁用？Josh 的答案是所有做知识工作的人：市场分析、公司调研、房地产，加上科研和医疗两块大头。生活场景同样成立。Isa 在日本出差时用它找餐厅，要求提了一堆，它真找到了她原本搜不到的店。她还有位朋友想创办消费品公司，拿它查同类产品、查域名有没有被占、做市场规模估算，报告一份份发给她看。 主持人 Lauren Reeder 现场贡献了个例子。她想买车，搞不清新款什么时候发布，网上全是猜测帖。她让 Deep Research 把所有传闻和厂商历年的发布规律整理成报告，结论是再等几个月，年内就能等到。 ## 最意外的用例，是写代码 上线三周，团队自己先被一个用例打了个措手不及。 Isa 说，她没想到这么多人拿 Deep Research 写代码：做代码搜索，查某个包的最新文档，让它帮忙写脚本。Josh 接话时有点不好意思：「在 ChatGPT 用户眼里这太显然了，我们居然没提前想到。」 效率上 Josh 算过一笔账：一件事本来要花几小时甚至几天，扔给它，**能拿回自己动手能得出结论的 90%**。 它还有个反差能力。Josh 说，它不光擅长横向铺开收集资料，还特别擅长挖冷门事实，第一页搜索结果里永远翻不到的东西，它能一路深挖到。节目里讲了个真事：Isa 兄弟朋友的父亲纠结一个极冷门的历史细节，某位奥地利将领在一场战役里的记录，ChatGPT 此前答错过，老人不服气，跑去公共图书馆查到实证。后来 Deep Research 答对了，全家都很兴奋。 ## 流程图对上端到端，本期最硬的观点 节目过半，主持人 Sonya 抛出关键问题：市面上那么多公司拿 OpenAI 的 API 写提示词、编排流程做智能体，这些应用是不是都该换成端到端训练的模型？ Josh 的回答值得细读。他创业时按业界流行做法做过：搭一张操作流程图，节点里塞语言模型，模型决定下一步干什么，但整体流程是人写死的。他的结论很直接：**这种方式能快速做出原型，一到真实世界就掉链子**。你没法预判模型会遇到的全部场景，也没法穷举所有分支。更麻烦的是，图上的模型节点往往不是好决策者，因为它们从没被训练去做那些决策，只是被训练做过长得像的事。 > 「大家总觉得自己动手写逻辑，能比模型做得更聪明。但现实是，领域一路往前走，模型想出来的解法往往比人好。」 Deep Research 走了另一条路：没有任何编排层，整件事由模型自己驱动。接到详细需求，它先想清楚，搜一轮，读材料，判断跟目标的关系，决定下一步搜什么，最后把信息整合成带引用的报告。Isa 强调，调研过程里大量情况没法预先穷举，模型要根据实时看到的网页临场改策略，她看过模型的思维链摘要，有时候找下一步线索的思路相当聪明。她的判断是，任何人类写死的脚本，灵活度都到不了这个水平。 John Collison 曾发推问：Deep Research 的魔力，多少来自实时联网，多少来自思维链？Isa 的回答是两者都有。不少搜索产品没做端到端训练，遇到没见过的信息不会随机应变，解题思路也不够灵活；分析能力则来自底座 o3 本身。Deep Research 就是 o3 的微调版，训练数据是团队专门收集的高难度浏览任务，外加其他推理任务，模型配了浏览器和 Python 两个工具。 给开发者的分界线，Isa 说得很清楚：**工作流固定、可预测，画图没问题；边界情况多、需要灵活，就该走端到端。**Josh 补了一条底线：硬规则别写进模型，「这个数据库不许碰」这类约束，用人类写的代码兜住就好。 然后是那句他称为机器学习第一课的话：**你优化什么，就得到什么。**把系统搭成能直接对最终结果做优化的样子，效果远好于把几个没为这个任务调优过的模型拼在一起。他的长期判断很明确：**在模型之上做强化学习调优，会是构建最强智能体的关键一环。** ## 隐藏的胜负手：数据集 技术上最难的一关是什么？Josh 以旁观者身份给出答案：造出高质量的数据集。这是机器学习的老教训，人人都要重学一遍，**喂进去的数据质量，基本决定了出来的模型质量**。 团队里有个 Edward Sun，Isa 说他「任何数据集到他手里都能被优化」。Lauren 总结得好：找到你的 Edward。 可信度是另一条主线。产品靠引用来源建立信任，训练时专门校验过引用是否正确。但 Isa 坦承，模型仍可能出错、产生幻觉，或者信了不太可靠的信源，这是团队持续改进的方向。 还有个容易忽略的设计细节：Deep Research 开跑前会先反问你几个问题。这是刻意的。提示词越详细，等了 5 到 30 分钟拿到的报告越值，而普通人第一句很少把需求说全。Twitter 上已经有人自建工作流：先跟 o1 Pro 把提示词打磨细，再丢给 Deep Research。 ## 用好它的几条实操心得 什么时候用 Deep Research，什么时候用 o 系列？Josh 给了个心智模型：**需求描述得具体、好答案又需要读大量网页，就用 Deep Research**。问题模糊它也会帮你澄清，但它的高光时刻在具体信息需求上。Isa 的个人习惯是写代码用 o1 Pro、o1 或 o3-mini high，因为写代码通常不需要预训练知识之外的联网信息。 Isa 补充，这个模型跟指令的能力特别强，一句话里堆好几个要求也接得住。几条实用技巧： - 一次塞多个要求：要产品信息、要竞品对比、要 Reddit 上的真实用户评价，全都能排进一个任务。 - 让它输出表格，附上引用链接，横向对比一目了然。 - 底层模型已经能嵌图片、能画图表，只是还没开放进 ChatGPT，迟早会来。 - 个性化教育是被低估的场景。想补生物、想搞懂某个国际事件，把不懂的点列给它，它会整理成一份定制报告。 商业还是消费？Sonya 问一年后这东西偏哪边。Isa 希望两者都是，能力太通用了。Josh 偏向商业侧的此类任务更多，但两边都会留下痕迹。 市面上几个月里出了三个都叫 Deep Research 的产品，OpenAI、Google、Perplexity 各一个。Josh 吐槽这个领域起名毫无创意，建议都去试试，质量差异一试便知，差别归根到底来自数据集的功夫和 o 系列这个引擎。 Sonya 还问了 Deep Research、Operator、o3 之间的关系。Josh 说今天这几个产品还比较独立，但方向明确：未来的终极智能体，应该能把这些能力自然地捏在一起用。 ## 蛋糕胚烤好了，樱桃该上了 闪电环节里，Sonya 问了个大问题：强化学习火过一阵又沉寂多年，现在算回春了吗？Josh 回答干脆：「It's so back。」 为什么是现在？他搬出 Yann LeCun 2016 年 NIPS 演讲里的蛋糕类比：**无监督学习是蛋糕胚，监督学习是糖霜，强化学习只是顶上的几颗樱桃**。2015、2016 年那批做强化学习的人，回头看他确实是在没有蛋糕胚的时候先摆樱桃。现在不一样了：预训练语言模型这块胚又大又扎实，监督微调让模型学会了听指令。**只要一件事能定义出奖励函数，就到了直接调优模型的收获期。** 路线图也随之清晰。Isa 说近期两件事：扩大数据源，从公开网页走向私有数据；浏览和分析能力继续往上推。Josh 给出的配方是：拿一个最强的推理模型，给它人类干活用的同一套工具，直接对想要的结果做优化。他说这个配方没有理由停在网页调研上，**AGI 现在是个工程执行问题**。 Sam Altman 有个判断：Deep Research 会吃下全球经济价值任务里一个个位数百分比。Josh 的解读更具体：它替不了你的全部工作，但能一次帮你省下几小时甚至几天，往后是 1%、5%、10%、25% 的时间还给你，看你的工作类型。 Josh 当过咨询顾问，他不觉得有哪份工作会因此消失，更像给知识工作者发了一副外挂。医疗场景他尤其看重，已经有医生用它扫文献、给病人找临床试验。更深的影响在别处：原来要 4 到 8 小时的事，现在一份 ChatGPT 订阅加 5 分钟搞定。Josh 抛出的问题值得记下来：**如果时间近乎无限，你会多做多少份调研？**比如把所有值得看的创业公司都研究一遍，而不只是有时间见的那几家。Sonya 补了个消费端版本：忙到没空给孩子策划生日派的妈妈，现在这事变得可做了。 教育同样是高频用例。Josh 认为，跟一个能根据你的水平调整内容的 AI 学东西，比啃教科书效率高，也更投入。 学习材料上，Isa 推荐 Pieter Abbeel 的强化学习入门课（她记得名字叫 Foundations of RL），虽然有些年头，入门足够好。Josh 力挺，那是他读博时的导师。AI 进展太快追不动，Josh 的通用建议是：**挑一两个你真正关心的方向，攒一份说话有料的人的清单**，别贪多。他还补了一句，这个活本身就该交给 Deep Research 干。 明天就能用上的三件事： - 把 Deep Research 用在「值得读几百个网页」的问题上：买车、选型、行业调研、找临床试验。需求写得越具体越好，写不利索就先找 o1 Pro 帮忙磨提示词。 - 做智能体的开发者做一次架构自查：流程图里的硬规则留着，决策逻辑考虑交给端到端训过的模型。问自己一句，我是在优化结果，还是在拼接零件？ - 挑一个你欠了很久的调研题，今晚就发给它，用 30 分钟换回一个晚上。