# 高中赢过Noam Brown一局，Magic创始人说AGI只剩最后一道大题 > Training Data No. 14 中文精读 - 原标题：Founder Eric Steinberger on Magic’s Counterintuitive Approach to Pursuing AGI - 发布日期：2024-09-10 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/014-founder-eric-steinberger-on-magics-counterintuitive-approach-y0aYPC.html - 精读字数：约 5673 字（阅读约 13 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 14岁那年，埃里克·斯坦伯格（Eric Steinberger）给DeepMind研究科学家约翰内斯·海因里希发了一封邮件，长到能打印出好几页，内容一句话就能概括：我要打败你博士论文里的算法，这是我列的10个想法，帮我看看哪些能成。约翰内斯是大卫·席尔瓦（David Silver，AlphaGo团队负责人）的博士生。 对方真答应了。接下来一年，这位维也纳高中生每两周被批一次工作，他自己的要求是：别因为我还在读高中就对我客气。项目做完，他改进的算法在成绩上比诺姆·布朗（Noam Brown）的原始版本好了一点点。布朗随即找上门，两人合作了两年，埃里克大学第一学期就成了FAIR（Meta的AI研究部门）的兼职研究员。布朗后来去了OpenAI，是强化学习领域公认最强的研究者之一。 现在，埃里克是AI公司Magic的创始人兼CEO，红杉资本投了他。在这期红杉出品的Training Data播客里，他给出的核心判断是：**通往AGI的路上只剩最后一道没解的大题，叫通用领域的长程可靠性；解法是推理时算力，具体到操作，是把花在一个token上的资源放大一百万倍，还要花得有价值。** ## 14岁的中年危机，一封五页邮件，和一次退学 埃里克说自己14岁提前经历了中年危机。他花了一年看物理、数学、生物、医学，想找一件值得做的事，最后撞上AI，选择困难症当场痊愈：能造一个把其他所有事都包办了的系统，我就不用挑了。他甚至说，那一刻就能看见未来30年怎么展开，这种可预测性让他很舒服。他喜欢数学，但觉得17维的球体帮不了人类，AI又用得上又够得着。**这个选择10年前就很清楚，只是当时还不接近，现在又接近又清楚。** 学编程这件事，他承认自己对计算机本身没什么好奇心，学它只为了解决AI。起步很惨：第一篇论文啃了两个月，编程烂了很久。转折点就是那封五页邮件。他后来专门复盘过：**长邮件真的有用。他现在也常收到两段式的求助邮件，终于明白为什么大家觉得这套不管用，因为两段确实不管用。五页，写清楚我要怎么打败你的算法，在他的经验里，每一次都得到了认真回应。** 布朗找上门的原因很直接：布朗发了论文《Deep Counterfactual Regret Minimization》，埃里克发了《Single Deep Counterfactual Regret Minimization》，后者的成绩好了一点。埃里克自己很谦虚，说人家三个月写完的论文，他花了好几年，差距其实很小。但这件事让他成了布朗的合作者。他形容和布朗开电话会议像打乒乓：一个问题本来要立项做六个月，俩人聊一通电话，聊完就做完了。他总结布朗的强项有三条：会挑题，然后长时间死磕，让结果越滚越好；敢在别人看不出来的时候下注，因为他下手早；以及博士期间每周工作100小时。 大学期间，埃里克一边在FAIR兼职做研究，一边创办了气候教育NGO ClimateScience。这家机构完全按创业公司的方式运营：1000名志愿者，20个硬核工程师，目标清晰，产品就是一个软件，区别只有一条，没有一分钱进出。三件事并行三个月后，他退学了。原话是：**「我能同时做两件事，做不了三件。」**那三个月糟透了，一个人就是做不好三件事，马斯克可以，他当时不行。 后来他把NGO交了出去，原因是他修正了一个前提：创办ClimateScience时，他以为AGI还有20年，如果真是20年，他永远不会去开公司。发现自己算错了，就没什么可犹豫的了。气候问题他关心，但那算不上他的天命。 播客里反复出现一个梗，叫「AGI待办清单」。2017年他还在读高中，某个会议请他去讲这份清单，他自己承认当时列的是错的。但清单里有一项他一直没想明白：怎么让模型在通用领域做推理。语言模型和代码模型的出现让这条路清晰起来。他的方案听起来简单得过分：**把LLM和强化学习拼起来。RL在受限领域里干了10年，验证有效；LLM有通用性。一边有20个受限领域的成功，一边有通用性，两边一拼，横轴纵轴都有了，右上角那个格子就到手了。** ## 最后一道大题：往一个token上砸一百万倍算力 > 「还没解决的东西，是通用领域的长程可靠性。要解它，需要推理时算力。证明一个新定理、写一个大型软件、写一篇有点复杂的文章，你通常不会一个token一个token地往下写，你会对其中一些token想很久。找到办法，把花在一个token上的资源放大到一百万倍，而且花得有价值，这大概是最后一个大问题。」 埃里克的理由是排除法。过去几年，多模态解决了，长上下文解决了，模型成本也降到了相当合理的水平，他说你得当个现实否认者，才会看不见接下来会发生什么。 至于推理时算力，这在RL圈子里是常识。扑克AI和围棋AI早就证明了，给机器更多思考时间，棋力就往上走。LLM圈这两年才恍然大悟。他算过一笔账：花100亿美元做预训练，还是花10亿做预训练、省下的钱花在推理上？100亿当然爽，但他宁愿选10亿那档。 公开层面还没有成功配方，这是他的原话。现有思路里，best of N采样把N开到足够大，勉强算个起点，不算差，但离终点远。他判断，就算研究从此停摆，靠现有技术堆下去，某个时刻也会撞出一个大家公认的AGI，可能解不了黎曼猜想，但已经相当能打。他好奇的是另一个问题：把该做的都做了，上限到底在哪。 ## 软件工程师是「最小可行AGI」 Magic在做的事，一句话：自动化软件工程。埃里克给它起了个名字，软件工程师是AGI的最小可行版本，MVP of AGI。逻辑是，一个真正合格的AI软件工程师，应该能干Magic里所有人的活，包括研究员的活。到那一步，模型就能递归地改进模型本身，还有对齐，整个过程不再受人类人力的瓶颈限制。 他举过一个思想实验：这个世界上没有几个Noam Shazeer，但如果电脑里能装一个，就能复制出一百万个，对齐问题说不定就这么解决了。他自己承认这话简化得厉害，但方向就是这么个方向。终极画面他描述得很轻松：跟电脑说几句话，去吃个午饭，回来的时候，它把AGI造好了。 为什么坚持自己训模型？他的回答分三层。第一层是技术：**要造最好的模型，就得自己造模型。如果API厂商把这个难题解决了，那你算什么？不如三年后再创业。**Magic为此花了两年学怎么训超大模型，他提到OpenAI从GPT-3到GPT-4也花了两年。这是一笔巨大的财务投入，成了收益惊人，败了GPU转完钱就没了，他清楚自己在花别人的信任。 第二层是商业。他的判断很激进：**价值会沉淀在AGI和硬件两层，应用层什么都留不下。**如果API生意能长出一家千亿美元公司，模型厂商会直接把它搬进自己公司内部做，OpenAI不做，别人也会做。他还补了一刀：聊天界面这种东西，YC种子前轮的钱就能做出来，而Netflix、Airbnb、Uber的难度比它高得多。不拥有模型的公司，随时可能被「API涨价加自营产品」打穿。 第三层是对手。有科技巨头一年收入超过1000亿美元，理论上全能砸进来，这还没算那些募到巨款的实验室。埃里克的答案是换个问题：**关键问题是造AGI要花多少钱，你能募多少钱反而是次要的。如果正确的想法加足够的算力就够了，那100倍的算力也快不了多少。他赌AGI的成本远低于1000亿美元。这个赌注如果错了，错了就错了。**他还替投资人算了一笔账，早期资金充足，回报率可能好过弹药无限。 团队规模他也给了参考值：早期5个研究员够用，现在接近20个，整体维持在很低的两位数，他不觉得会涨到几百。能用好200人的CEO比他强，他认。不过如果团队能翻倍、速度真能翻倍，他随时干。 ## 99%才及格：助手和同事隔着一条鸿沟 埃里克把AI产品分成三层：没用的；需要人微观管理的助手；以及反过来管理你的同事。中间那个「刚好打平」的层很薄，基本不存在。模型一旦比你能干，你的角色就只剩两件事：说清楚要什么，回答它的澄清问题，你永远不需要再告诉它「这里有个bug」。 他对产品体验的描述很具体：要的是跟公司里最好的工程师开会的感觉。讨论，他几乎总是对的，然后他去写代码，别人review，上线，能用。至于这个agent用什么工具、跑在本地还是云端、要不要开虚拟机、有没有浏览器，用户根本不关心，**工具、虚拟机、浏览器，全是Magic要操心的事，用户只关心自己的问题被解决。** 有人拿SWE-agent在SWE-bench上14%的成绩问他怎么看，他的回答是这个数字他不关心，因为那些系统压根没用推理时算力。他关心的是另一组数字：**这类产品要99%以上才成立。96%都不行，他连自己的电脑都不信任，不想review代码。必须review代码的产品，和不用review代码的产品，是两个物种。就像自动驾驶，区别只在于那边出错会死人，这边出错要人看代码，所以可以早一点上线，但标准一点没降。**他还提醒，最后那几个9最难啃。 时间表他给得很大胆：远小于10年。但他自己也补了一句，听过这期节目的人，记得把他说的所有时间乘以1.5到2。 ## 读穿所有论文，脑子里要有一座数据库 给年轻研究者的建议，埃里克给得毫不留情。第一，早点烧掉退路。他14岁就知道这辈子要干什么，没有Plan B，其他所有路径都在他的及格线以下。至于为文凭去读博，他的原话是，全是扯淡。直接冲最终目标，烂就烂着，十几岁的烂研究员也够换来一个好导师了。 第二，长邮件加主动出击。前面那封五页邮件就是模板：告诉对方你要用他的东西、你要怎么赢，然后请他把脑子里的东西蒸馏给你。顶尖的人不会带10个徒弟，但愿意带一两个，你只要抢到那个席位。 第三，从上往下学全栈。他面试过不少研究员，连LLM怎么实现、分片怎么做都答不上来，他觉得这不可理喻。他自己的做法是，先锁定要解决的问题，然后一路往下问需要什么，挖到内核和硬件那一层。他不需要成为写内核最强的人，但懂到那个程度，顶层的活会干得更好。 第四，读所有论文。比尔·盖茨有个访谈说，学的东西够多之后，它们会互相相似，学习曲线会变平。埃里克听完就开始扫论文，扫到后来速度足够快，脑子里建起一座数据库。**Magic现在跑通的好几个关键想法，单独看都是别人做过的零碎东西，组合起来才成立。一个好想法背后往往站着另外三个人的好想法，脑子里没库存，就拼不出来。**影响他最深的一篇论文是扑克AI《DeepStack》，他第一篇死磕复现的论文，像刷维基百科点超链接一样一路钻了下去。 他还聊了研究的两种模式：综合与跳跃。Transformer就是典型的综合，注意力机制有了，堆块的做法有了，残差连接从ResNet搬过来，再去掉循环，加上一些小跳跃，比如归一化的处理。他说自己擅长综合，正在练跳跃，也就是凭空想出完全没有参照物的新东西。真诚这条他放得最重：**对自己烂的地方要诚实到残忍，否则永远补不上。押注长处没问题，前提是必要条件不缺。** 高中那次合作，他差点被放弃。算法做到一个不好不坏的版本，两个人都不满意，导师觉得可能发不了了。埃里克的回应是：去你的，我做完了给你看。一两个月后真做完了。那天他散步回家，一路问自己到底行不行，答案是行不行都得干，第二天接着写代码。他说从那以后，再没体会过那种程度的自我怀疑。 问他最佩服谁，第一个名字是Noam Shazeer，Transformer原作者之一，Character.AI创始人。埃里克的评价是，此人综合能力天下第一，全栈无短板，真要一个人把整个系统实现出来跑起来也行，而且他看得见未来。Scaling laws这件事，很多实验室做得非常科学，Shazeer当年的演示是直接把1亿、3亿、10亿、50亿参数模型的输出挨个放给你看，然后问一句：要是把它做大呢？视频还在YouTube上。深度学习元老里，他认为辛顿该拿最多功劳，理由是在所有人断言这条路走不通的年代，他训练着小小的模型硬扛了过来。至于布朗，好几个实验室当年在做同样的问题，他一个人单挑，比十个人加几个大牛的实验室又快又好，而且这种百倍效率是连续多次复现的。埃里克建议听众给孩子取名叫Noam，研究圈里叫Noam的，有名的全是大神。 ## 彩蛋与行动清单：从一亿个哈希值到五页邮件 顺带一提，闪电问答里问他最喜欢的AI应用，他的答案是垃圾邮件过滤器和推荐算法，那些看不见的AI撑起了日常生活。影响最深的影响说完了，节目末尾还有一段正主戏：Magic发布了LTM-2-mini，一个1亿token上下文的模型，同时开源了配套评测HashHop。红杉当年投Magic，起因就是自家的研究员看到埃里克的长上下文评测结果后集体兴奋。这次他把考卷也交了出来，理由很直接：与其空口说我们有多少token的上下文，不如把评测一起开源。 埃里克对「大海捞针」评测的批评很形象：模型只需要背个小书包，从上下文开头走到结尾，发现奇怪的东西就捡进书包。因为针天生显眼，模型有隐含的先验帮它记忆，所以它根本不用记住整个上下文。一些模型就这样显得长上下文很强，实际能力撑不起来。 HashHop反着来：把上下文全部换成随机生成的哈希字符串，没有任何语义信息，模型必须记住全部内容才可能答题。还要加跳数，找到第一条信息，用它去定位第二条，可以一直加下去。**记忆总量和跳数，这两个维度就是长上下文能力的定量核心。**至于代码能力，那是领域评测的事，Magic内部另测。 最后是这期播客里明天就能用上的东西： - 想请牛人指点，写一封长邮件：具体到你要做什么、打算怎么赢、卡在哪。两段式的客套邮件没人回，五页的干货，埃里克每次都得到了回应。 - 学技术从上往下：先钉死要解决的问题，再往下挖到需要的深度。目标是研究员，就别让「不会实现分片」成为短板。 - 把能找到的论文都读了。知识是复利，读得越多读得越快，脑子里的库存迟早会在某个项目里拼出一个别人拼不出的组合。 - 定期逼自己列出短板，诚实到肉疼，缺哪补哪。长处决定上限，短板决定你能不能上牌桌。 - 评估AI编程产品时，先问可靠性：90%的准确率意味着你要逐行review，它是助手；99%以上，才谈得上同事。 埃里克的高中导师每两周骂他一次，骂了一年。这套方法今天依然免费，缺的只是那个敢发五页邮件的人。