# PyTorch前负责人林乔：开源将在同一尺寸上追平闭源 > Training Data No. 10 中文精读 - 原标题：Fireworks Founder Lin Qiao on How Fast Inference and Small Models Will Benefit Businesses - 发布日期：2024-08-13 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/010-fireworks-founder-lin-qiao-on-how-fast-inference-and-small-m-U8FFeG.html - 精读字数：约 5057 字（阅读约 11 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 一个原计划6个月完成的工程，Meta最终做了5年。做完那天，这套系统每天扛着超过5万亿次推理请求。 这是林乔在Meta负责PyTorch时的亲身经历。2024年8月，这位Fireworks创始人兼CEO做客红杉资本播客Training Data，和主持人Pat Grady、Sonya Huang聊了一个多小时。Sonya Huang的开场介绍是，AI基础设施领域的重量级人物，曾带领PyTorch，那个今天全球机器学习生态的地基。 她创办的Fireworks成立于2022年，定位是生成式AI推理和高质量微调的SaaS平台，主打三件事：实时应用的低延迟、支撑业务增长的低成本、面向企业的自动化定制。这期对话里，她最核心的判断摆在台面上：**开源和闭源模型的质量，会在同一个参数量级上打平。7B到70B，甚至100B以内，差距会收敛到几乎消失。**到那时，竞争只剩一件事，把模型定制到具体业务上。这件事恰好是小模型和开源社区的强项。 ## 一个6个月的计划，做了5年 先说PyTorch是什么。林乔给过一个干净的类比：PyTorch是给数字大脑用的编程语言。研究者用它快速造出各种深度学习模型，也就是那些数字大脑。麻烦在于，造大脑很快，大脑跑起来不够快。她在Meta接手的，就是让大脑跑快这件事。 她接手时，Meta内部三套框架并存：Caffe2服务移动端，ONNX服务服务器端生产环境，PyTorch服务研究者。三套框架，三拨人，三倍维护成本。她的任务是把三合一。 第一步尝试很符合直觉：保留PyTorch简洁的前端，接上Caffe2的后端，缝起来就完事。结果两个框架从设计之初就没打算兼容，整合复杂度比重写一个还高。第二步干脆推倒重来：前端保住PyTorch的简洁，后端整个重写，做出TorchScript，也就是PyTorch 1.0。 真正的坑在迁移阶段。当时团队的想法很朴素，把旧框架换成PyTorch这个库就行了，能有多难？预估6个月，实际用了5年。数据怎么高效加载、分布式推理怎么在PyTorch里跑得动、训练怎么扩展，每一层都得从头建，最后等于在PyTorch上重建了整套推理和训练设施。林乔离开时，这套系统每天跑超过5万亿次推理。 > Fireworks的使命，是显著加快整个行业的上市时间，把它从5年压缩到5周，甚至5天。 5年换来的教训，她想变成全行业5周就能拿到的东西。 ## 只押PyTorch：简单性会扩展 Pat Grady抛出一个问题：多数做推理平台的同行都选框架中立，什么框架都接，Fireworks为什么死磕PyTorch一家？ 答案来自她运营PyTorch多年观察到的漏斗效应。PyTorch从研究者工具起家，占住了模型创造这个漏斗的顶端。研究者的模型要进生产环境，很少有人愿意重写成别的框架，模型顺着漏斗自然往下流。新生模型，尤其生成式模型，几乎都在PyTorch里出生，也在PyTorch里服役。 **研究者在哪，下一代生产环境就在哪。** 研究者为什么爱PyTorch？她的总结是四个字，简单性会扩展。 > 简单。简单性会扩展。这是PyTorch在Meta和社区一路走来的教训：不懈地聚焦简单，把越来越多的复杂度藏进后端。 这套思路原样搬进了Fireworks。跟开源的vLLM、TensorRT-LLM相比，她的差异化讲得很直白：开箱即用的速度更快；对手是库，Fireworks是系统，能针对开发者和企业的具体负载自动调优，把速度和质量同时往上抬，库做不到这件事。 代价是复杂度全由Fireworks自己扛。手写CUDA内核；跨节点的分布式推理；把模型切成块，在不同GPU上分别扩展；语义缓存，内容相似就跳过重算；量化做了多层，KV缓存可以量化，权重可以量化，GPU之间的通信也可以量化，各有不同的性能收益和质量代价。 Pat Grady给这种打法起了个名字，复杂度守恒，概念源自施乐PARC研究员Larry Tesler：完成任何任务的复杂度既不会凭空产生，也不会凭空消失，只能决定由谁承担。Fireworks的生意，就是把客户该扛的复杂度搬到自己肩上，换客户把认知带宽留给应用侧的创新。 ## 客户的转折点：延迟和成本 客户什么时候找上门？林乔看到一个相当稳定的路径。 去年，几乎所有人从OpenAI起步。这个阶段大家在重度实验，创业公司有个产品点子，想验证市场契合度，自然选最强的模型。等验证通过、准备规模化时，问题来了。 大多数生成式AI应用是B2C生意，直接面对消费者、个人和开发者，响应速度直接决定产品生死。用户没耐心等半分钟，延迟降不下来，产品就不成立。成本是另一只手：产品能跑通意味着能快速规模化，小规模都在亏钱，规模化只会亏得更快。**延迟和总拥有成本，是客户从OpenAI迁出来的两大推手。** Pat Grady补了一句她一年前说过的洞察：训练的规模跟着研究者数量走，推理的规模跟着客户数量走，而客户永远比研究者多。推理是更大的生意，客户的迁移路径恰好踩在这个转折点上。 客户名单里还有一类她没预料到的玩家：传统企业。她创业时的假设是三步走，先服务技术最激进的创业公司，再服务数字原生企业，最后等传统企业观望完再进场。现实是三路客户同时涌入，健康保险公司、医疗公司、银行都在主动找来。 对接的人也和预想不同。她以为要给传统企业讲商业价值，准备了一套业务导向的话术，结果对方直接拉她进底层技术细节，聊得非常投入。早期接触的多是CTO，她感觉这门生意正在转向创新驱动的业务转型。 她给了两层解释。第一，企业领袖普遍把这波生成式AI看成当年云优先、移动优先级别的转型，行业座次会重排，创业公司长得飞快，在位者不创新就会被边缘化，在位者之间还在比谁转得快。第二，生成式AI把AI的门槛打下来了。传统AI时代必须从零训练，没有基础模型的概念，数据和资源集中在超大规模厂商手里。基础模型出现后，从零训练已经没有意义，网上能爬的数据大家都差不多，架构也大同小异，玩法变成拿高质量小数据集去微调。**小数据、小模型，让每家企业都够得着这项技术。** ## 开源与闭源，会在同一尺寸上打平 Sonya Huang把问题抛过来：开源和闭源的差距会怎么走？林乔的判断很具体：**同一个参数量级内，7B到70B，甚至100B以内，开源和闭源的质量会收敛。**Pat Grady追问，会不会闭源永远领先6个月？她的回答是没有时间差，同尺寸下并驾齐驱。她甚至留了话头，几年后回到这期播客对答案。 推理链条是这样的。闭源厂商押注的模型很少，OpenAI的大语言模型可能就三个，因为模型由架构和训练数据定义，各家用的数据大同小异，架构也类似，集中火力打一个尺寸段才是最好的投入产出比。开源走的是另一条路：Llama 3这样的好底座开放出来，成千上万的研究者在上面盖楼。微调开源模型是不是更容易？林乔的回答是谈不上更容易，是开源模型的社区更厚，在上面干活的人多得多。Llama 3的指令遵循能力很强，微调就容易对齐到具体问题。Fireworks在函数调用上投入很深，她提到基于Llama 3微调函数调用模型，比基于Llama 2或其他模型容易得多。 Pat Grady把开源基础设施的历史搬来对照：20年前开源是快速跟随者，Red Hat是代表；后来Mongo、Confluent证明开源也能当创新者。模型领域会不会出现开源领跑？林乔的答案落在结构差异上：闭源厂商只能集中火力打少数模型，开源让千花齐放。企业面对的问题千奇百怪，千花齐放意味着任何问题空间里都有现成的解，再叠加针对具体负载的定制，质量更高、延迟更低、成本更低。 那OpenAI呢？Sonya Huang问OpenAI隔三差五降价，会不会让她睡不着觉。林乔的观察是，OpenAI自己也在往小做、往便宜做，这恰好印证了收敛趋势。她不认为OpenAI会做重度定制，因为它的使命是AGI，那是在解另一个问题。**企业侧的具体问题，正是小模型加定制的空档。** ## 微调这个坑，比想象中深 林乔特意拆解了微调的真实难度，这部分对动手的人最有价值。 端到端流程：先采集数据，要打点追踪；追踪完要标注；标注完选算法，监督微调SFT、DPO，还有一串基于偏好的微调方法，偏好类方法不标绝对好坏，只标更喜欢哪个；再决定用LoRA这种参数高效微调，还是全参数微调；有些任务还得调超参数，不止调模型权重。应用开发者大多没碰过AI，这一套下来门槛不低。 更微妙的是，很多失败案例其实属于产品设计问题，跟模型能力无关。她举了个例子：做一个输入时自动生成内容的系统，光标停在表格单元格里，自动生成是什么意思？续写单元格内容？多生成几行？还是什么都不做？**这类问题需要产品经理进环，设计产品该怎么响应，模型再好也补不上这个环节。** Fireworks想做的切分很清晰：把选微调方法、自动标注、从生产环境自动采集数据这些体力活收走，留给开发者一个简单API；产品该怎么响应，留给客户自己设计。她透露相关产品很快发布。 哪些任务连微调都不用？她给了一份清单：代码生成、编程副驾驶、转录、翻译、OCR，现成模型已经好得惊人。需要微调的是带业务逻辑的任务。分类是典型，电商平台要判断这是家具还是菜品，标准完全长在企业自己的业务里。摘要也一样，保险公司要按特定模板摘，通用模型开箱即用不了。 ## 终局、英伟达与一场过期的架构革命 Fireworks的北极星，林乔的原话是：用简单的API，访问全部知识。 现状是平台上有超过100个模型，覆盖大语言模型、图像生成、音频生成、视频生成、嵌入模型和多模态模型。但基础模型拼在一起，知识仍然有限。训练数据有起点有终点，互联网上能爬的信息有边界，大量知识藏在企业私有API后面，外面谁也拿不到。 要触达全部知识，需要一个层，把众多模型和公开、私有API混编起来，载体就是函数调用模型：模型理解有哪些API可调、为什么调，自动当路由，准确发起调用。开场提到的复合AI系统，由多个组件而非单一模型调用构成的AI系统，说的就是这层东西。 她用混合专家架构做了类比。OpenAI带火的MoE架构，是一个路由器坐在几个大专家上面，各管一摊。Fireworks想做的是访问成百上千个小专家的混合专家，每个专家更小、更敏捷，但在具体问题上质量很高。这些专家住哪？她的野心很直接：都住在Fireworks上，由平台来筛选和策展。下一代函数调用模型已在路上，她预告有多个层面的突破，会带着demo和示例一起发布。 回到竞争。英伟达会有对手吗？林乔给了一个经济学答案：暴利市场必然招来竞争，行业整体也厌恶垄断，**问题只是时间，而且她认为时间不远了。**通用地盘上AMD在追赶；等某个AI细分领域的模型形态稳定、问题定义清楚，定制ASIC会找到自己的位置。 规模红利是不是到头了？Pat Grady问前沿模型的回报是否在递减。林乔的回答分两支。一支是模型适用性会进入平台期，行业重度转向定制。另一支是警告，别把平台期当成永久的墙。她在Meta见过一模一样的剧情：排序推荐模型一度被认为定型，结果几年里这个看似稳定的领域冒出大量模型创新，把Meta的S曲线硬生生推高一截。她的结论是生成式AI也会迎来新的模型架构，**而且按她的判断，这场架构革命已经过期了。** 快问快答里有几个信号。Fireworks团队自己用Fathom做会议记录和摘要，销售团队拿它做培训，她的评价是游戏规则改变者；2024年不会有单一最强模型，LMSYS竞技场上每周都有新模型互咬，模型质量整体持续上涨，这对行业是好事；她最佩服Meta，靠连续开源Llama系列把权力从超大规模厂商手里分散给每一个想造模型的人；对智能体，她的态度是看涨，今年就会开花。 Sonya Huang用红杉合伙人Roelof Botha的一个观点收尾：互联网和移动两波浪潮里，真正撬动上层应用生态的，是那些把运行成本打下来的人。她认为林乔在做同一件事，把AI的生产成本曲线整体拉低，让整个行业长出更多应用。 这期对话听完，明天就能上手的东西有三件。 第一，给AI产品算一笔延迟账。把目标用户的响应期望、单次调用成本和预期规模乘在一起，看看商业模式成不成立。林乔的客户几乎都在产品市场契合之后才补这一课，晚补不如早补。 第二，动手微调之前，先把失败案例分两类。一张表，左边记模型能力问题，右边记产品设计没定义清楚的问题。右边的拿给产品经理，别浪费GPU时间。 第三，选底座模型时盯住指令遵循能力。Llama 3这类指令遵循强的开源底座，微调到具体业务任务的成本低得多。同尺寸质量在收敛，选型重心该从「哪个模型最强」挪到「哪个模型最好改」。