# 单个训练环境几百万美元，Prime Intellect 想给强化学习建一个 GitHub

> Training Data No. 81 中文精读

- 原标题：Building the GitHub for RL Environments: Prime Intellect's Will Brown & Johannes Hagemann
- 发布日期：2026-02-10
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/081-building-the-github-for-rl-environments-prime-intellect-s-wi-SJc1y5.html
- 精读字数：约 5127 字（阅读约 11 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

一些头部 AI 实验室造一个训练环境，单个花费能到几百万美元。这是红杉播客 Training Data 主持人 Sonya Huang 在节目里提到的行情。

同一期节目里还有另一个数字：拿《纽约时报》的 Wordle 当训练环境，几张 GPU 跑一个小时，一个小模型就能学会越玩越好。

把这两个数字连在一起的，是一家叫 Prime Intellect 的公司，业内说的 NeoLab，新锐 AI 实验室。单集标题就叫「给强化学习环境建一个 GitHub」。两位嘉宾 Will Brown 和 Johannes Hagemann 在对谈里讲了一件正在发生的事：**评测和训练正在合流，公司手里那套测试 agent 的题库，离训练集只差一步。**

## 环境就是评测，换个用法就是训练集

先说概念。Will 给「环境」下的定义很干脆，三样东西的组合：一批任务，一个 harness，模型运行在外面的一层壳，提示词、工具、执行方式都算在里面，再加一个负责打分的 rubric 或者奖励函数。

听着耳熟？SWE-bench、AIME、Terminal-Bench，这些新模型发布时晒出来的评测，全都是环境。**同一套东西，离线用叫评测，是测试集；接上强化学习，就是训练集。**模型在里面反复试错，做对给奖励，做错不给，能力就这么一点点爬上去。

Sonya 一开始并不买账。她脑子里的环境是老式强化学习那一套：有状态，模型观察世界、采取动作、看世界怎么变、更新自己的世界模型，跟「一堆题打个分」完全是两码事。

Will 的回应是，这两样东西如今已经长成了同一个物种。要做大规模训练的环境，确实得有复杂状态，可能在模拟一个网页应用，或者一整个编程平台；但老式 RL 游戏里从来都有奖励、有目标。环境里必须存在一个能衡量进展的东西，不能最后靠人「感觉一下还不错」。**有状态、有交互、有打分，三者凑齐，评测和环境的边界就消失了。**

顺带说 harness。Will 把它看成环境的一个部件：编程 agent 的场景里，harness 就是那个 CLI 编程助手，终端就是环境。但他判断 harness 会持续演化，出现寒武纪大爆发式的各种玩法，所以他们选了更宽的抽象，统称环境。「agent」太窄，「harness」也窄，任何系统跟模型的交互，都装得进环境这个框。

这个抽象还有个好处：它不绑定强化学习。想蒸馏，把大模型放进环境跑一批，用同一个打分器筛出最好的样本，拿去做 SFT 微调；想优化 prompt，环境就是试验台；想给几个模型做 A/B 测试，跟跑评测一个流程。Will 说了一句争议不大的话：**每家 AI 公司都应该优化自己的 AI 系统。**强化学习只是这把大伞里目前最大的那根伞骨，旁边还有 prompt 调优、SFT、在线蒸馏一堆旋钮可以拧。

为什么执着于把训练能力交到更多人手里？Will 给过两层理由。一层是理念，历史上很多科学突破都是公开的、全人类接着往上盖的；另一层更实际，**赢家应用都在用 AI 干一件具体的事，要端到端优化，就得直接碰到模型权重，把模型打磨成最适合你这个问题的样子；通用模型配一段 prompt，做不到这个深度。**

## Cursor 的甜头：把产品本身变成训练场

Johannes 在节目里讲了一条挺扎人的逻辑链。ChatGPT 出自 OpenAI，Claude Code 出自 Anthropic，本质原因是只有他们有能力针对自家产品优化自家模型，模型在自己的脚手架里就是格外好用。主持人还点名 Claude Code，说它出圈的工程功夫一大半花在 harness 上。

但这里有个别扭的地方：**产品越火，大厂越没动力帮别人优化。**Claude Code 现在火成这样，Anthropic 有多大兴趣让其他编程创业公司的产品变得更好用？答案写在脸上。

Cursor 是想明白这件事的早鸟。他们自研了 Composer 1 模型，做大规模后训练，环境就是 Cursor 本身：模型泡在 Cursor 里，用着 Cursor 的全部工具，被优化成一个在这个产品里格外能打的模型。

Johannes 判断，会有更多创业公司走这条路。一部分人用它优化现有产品，另一部分人做出现在根本做不出来的全新产品，因为缺的一直是这个「产品与模型的优化闭环」。他给自家平台的定位也由此而来：把大实验室围墙里的东西搬出来，从算力编排，到大规模强化学习训练框架，到环境中心，再到安全代码执行沙箱和评测，凑成一套端到端的东西。这套全栈研究平台，名字就叫 Lab。

愿景那句话 Will 说得很大：**每家公司都会是 AI 公司，而大多数 AI 公司会想要一个自己的 AI 研究实验室。**研究可以长成不同样子，有人做预训练，更多的人做面向具体任务和流程的后训练。这件事正在变得能投产、算得过成本账。

## 从 Wordle 到网络攻防，环境长什么样

平台上的入门环境是 Wordle。Will 拿它当 demo 用了很多次：基础设施简单，表达力却够，难度卡在一个甜蜜点上，几张 GPU、一个小时的 run，就能亲眼看着模型学会琢磨这个游戏。很多人从这里找到「模型真的在变强」的手感，才敢去做复杂环境。

被 fork 和改造最多的是一个叫 WikiSearch 的环境：在维基百科页面里做 agent 搜索。它的价值在模板属性，把文档换成你自己公司的内部资料，一个企业知识库搜索环境就绪了，其余管线都是现成的。

更硬核的来自他们的强化学习驻留计划（residency）。这个项目起步时八到十个人，现在十四到十六个人，有研究生，也有全职下班后兼职干这个的人，做的环境从可验证的软件工程，到医学物理，再到网络安全。

网络安全环境的基本盘是 CTF 夺旗赛：一个系统里藏着漏洞，原本是程序员在黑客马拉松里玩的游戏，现在搬给 LLM。agent 住在终端里，能敲 bash 命令，可能套着 Claude Code 这样的 harness，在一堆文件里翻找，宣布完成后，由另一段代码去检查环境状态，判定 flag 有没有到手。

客户那头，做医学 AI 的实验室是重度用户，比如 Sophont 和 OpenMed。他们要赚的是医生的信任：诊断、医患对话、医学文献问答，都得有基准去衡量；模型要能部署在医院本地，任务数据的来源要能追溯。这些团队不想把精力耗在通用 LLM 基础设施上，平台替他们扛了这块。

还有一家叫 RCI 的 NeoLab，跟他们合作了整个技术栈，从算力编排到大规模预训练，训过一些最大的混合专家（MoE）模型并且开了源，后训练也一起做。Prime Intellect 自己专注开发者体验和基础设施层，目标是让「从一个想法到一个能部署的模型」这条路尽量短。

至于为什么非要做个 Hub？散落在各个 GitHub 仓库里不行吗？Johannes 的解释是，开源社区里各家环境实现早就多到溢出，Will 在此之前还写过一个叫 verifiers 的开源框架，Hub 是把这件事标准化，再补上仓库给不了的东西：环境直接接上评测，一键在所有前沿模型上测一遍；要训练，环境可以装进不同的训练器，自家的大规模训练器之外，也开放对接别家的。

社区行为也符合开源世界的惯例：有人把环境私有，这没问题，私有环境照样能跟 Hub 上的公开环境做对照消融；做训练时插一个公开基准当进度表，看看自家任务上的进步能不能泛化到别的任务，有没有在自家的题上过拟合。

## 模拟器太贵，就把需要的角落点亮

Sonya 问了一个好问题：CTF 练习题跟真实企业网络差得远，这中间有没有机器人学里那种 sim-to-real 鸿沟？

Will 的回答分两层。复杂度本身不构成障碍，电脑上能出现的东西，理论上都能当环境。**真正的瓶颈是模拟器的成本。**

他打了个地图游戏的比方：一张大地图，大部分区域是黑的，人走到哪，哪一块就亮。如果提前知道某个任务大概只会走到哪几块，就没必要把整张地图都渲染出来。

实例是 Tau2-bench，评测圈很火的客户服务 agent 基准，涉及数据库。真实系统里你可能需要百万条记录，但如果知道这个任务里 agent 只会问某几类问题，一个内存里的 mock 数据库就够了，跑起来便宜得多。**设计环境的功夫，一大半花在找出哪些复杂度纯属浪费。**

这段对话里还有个容易被忽略的用法：**强化学习可以反过来当质检工具。**环境有后门，模型会钻空子刷分；把模型放进单个环境做中小规模 run，就是戳毛病的过程。头部实验室把一个环境放进下一代 GPT 或者 Claude 的基础训练之前，要过很多道审查，这套小规模试跑就是流程的一部分。

顺带回应一个现实问题：财富 500 强的公司用得动这套东西吗？Will 的观察是，大公司里不缺会玩 Claude Code、对模型和 prompt 有一堆观点的 AI 工程师，这些人完全学得会。Johannes 补充了另一半真相：很多大公司里没人会调试 GPU 集群，所以平台要把基础设施整个抽象掉，让人只管面对环境本身。

## 卡帕西的吸管，和会管上下文的模型

Andrej Karpathy 有句流传很广的吐槽：强化学习很厉害，但效率低得像用吸管嘬比特。他恰好也是 Prime Intellect 的天使投资人。

Will 认了这话：RL 确实是烧大量算力换很小的信号。但他觉得这恰恰是它的价值。高质量的人类数据是扩不动的瓶颈，RL 的本质是**用算力换数据**，一小份监督信号，靠堆算力榨出更多价值。更关键的场景是：模型已经做到最大的时候，没有更大的老师可蒸馏，没有标准答案可抄，只能往没人去过的领域里探索。**探索是 RL 的心脏。**

Johannes 补了一句：很想知道卡帕西在那期访谈两个月之后再聊这个话题会怎么说。Claude Code 近一个月的爆火摆在那，编程领域的大规模 RL 有没有用，答案越来越明显。

他们也清楚边界在哪。上下文长度就是一条硬限制，能塞进上下文的 token 就那么多。所以他们对递归语言模型（RLM）格外上心，原作者 Alex Zhang 发布之后他们就跟进了。做法是给模型一个持久化的 Python REPL，数据不塞进上下文，放在变量里，模型自己去取、去变换、去管理，还能递归调用子 LLM。Prime Intellect 几周前发了篇博客：只是让现有前沿模型用上这个 harness，没做任何训练，长程推理基准就已经涨了一截。接下来几个月，他们要在这个 harness 里直接训练模型。

Will 还押了合成数据：让模型自己策划训练数据、自己策划环境，跟 prompt 优化、蒸馏这些已知手段组合起来，通往持续学习。Sonya 提到 Richard Sutton 参与写的那篇《The Era of Experience》，问他环境构建是不是 Scale AI 那个时代数据标注的接班人。Will 的判断很明确：**人类数据不会消失，因为环境按定义就是造给模型还不擅长的事，而那正是人比模型强的地方。**关键动作是把领域专家脑子里的「什么叫做得好」写成 rubric，拆成 LLM judge 面对的一道道是非题，再变成奖励分数。RL 是目前搬运这种知识最有效的管道。

关于开源与闭源，他们给了个务实的答案：训练器必须拿到权重，闭源模型训不了；但环境这一层是通用的，闭源模型照样能跑评测、做 prompt 优化、选模型、评 harness，还能把环境当数据引擎，从大模型蒸馏出数据来。LoRA 微调本来就是他们推荐大多数人做 RL 的方式。Sonya 由 DSPy 联想到的 prompt 空间优化，去年底拿到不少关注的 GEPA 算法，平台上也支持，工具的提示词、agent 技能、系统提示词都能拿来优化。

## 三十年老员工，还是史上最聪明的人

节目收尾，Will 说了全场最值得抄的一段话：

> 如果数据是瓶颈，真正的专业经验是瓶颈，你会选史上最聪明的人来你公司，还是选一个干了三十年的老员工？有时候你真的需要那个干了三十年的。

他的解释是：训练能沉淀的东西，短 prompt 几乎复制不了。**机构知识要能复利，最佳实践要能复利。公司和机构变强，靠的是站在自己过去的肩膀上继续盖楼；每天清零重来的组织，攒不下任何东西。**他想让任何公司都拥有这种复利。写代码的门槛在降，AI 研究的门槛也会一样降下去。

Johannes 的版本更直接：他们不想活在一个 AI 的未来价值全归大厂的世界。创业者和企业得有工具优化自己的产品，撑过这一轮。往后会有更多 Claude Code 时刻，更多「某某领域的 Cursor」时刻。主持人问：每家公司都会成为 NeoLab？他答，差不多是这么回事。

这期节目听完，明天就能动手的事有几件：

- **把你现有的评测当资产看。**只要你有办法给 agent 的表现打分，那套东西离训练集就一步，别让它躺在测试报告里。
- 先跑一个 Wordle 级别的玩具环境，几张 GPU、一小时的 run，先建立「模型在变强」的手感，再上复杂场景。
- 审一遍模拟器成本，找出任务里真正需要仿真的部分，其余全用 mock，Tau2-bench 的做法可以直接抄。
- 闭源模型也有玩法：GEPA 这类 prompt 优化、模型选型、harness 评测，环境这套抽象照样能用；想动权重，从 LoRA 微调起步。