# 1.6万张GPU训练的405B免费送人，Meta高管把这笔账算透了

> Training Data No. 8 中文精读

- 原标题：Meta’s Joe Spisak on Llama 3.1 405B and the Democratization of Frontier Models
- 发布日期：2024-07-30
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/008-metas-joe-spisak-on-llama-3-1-405b-and-the-democratization-o-XPePYz.html
- 精读字数：约 4456 字（阅读约 10 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

发布 Llama 3.1 405B 两天后，Meta 生成式 AI 产品总监 Joe Spisak 坐进了红杉资本播客 Training Data 的录音间。这个模型预训练吃掉超过 15 万亿 token，训练时同时调度 1.6 万多张 GPU，而任何人都能免费下载权重，甚至可以拿它的输出去训练自己的模型。

烧钱最多的一代模型，Meta 决定不直接靠它赚一分钱。这期节目把这笔账算得相当透。

## 405B 最大的价值，是给小模型当老师

Joe 管 405B 叫「怪物」，但他反复强调的角色另有一个：老师。**大模型真正的用武之地，是蒸馏出更强的小模型**。8B 和 70B 之所以能打，正是因为吃了 405B 产出的数据。

今年 4 月 Meta 先放了 8B 和 70B，内部管它们叫「开胃菜」。当时 Joe 自己都犯嘀咕，怀疑大家会不会真那么兴奋，结果反响爆了，真正的正餐憋到了 7 月。

开胃菜本身就有个惊人的事实：8B 的成绩比 Llama 2 的 70B 高出一大截。Joe 看到图表第一反应是「这数据是不是搞错了」，核对之后确认属实。原因很朴素：训练数据多了 7 倍，算力也堆得更足。

新能力里他最兴奋的是零样本工具调用。模型不用专门训练就能调 Wolfram、Brave 搜索、Google 搜索，还能跑代码解释器、给 RAG 这类任务写插件。长上下文是社区呼声最高的需求，内部版本其实比放出来的更长。多语言这件事他们也没偷懒，**没有只靠预训练堆数据，监督微调阶段针对各语言做了大量后训练和安全工作**。

许可证也动了。以前用闭源模型的输出训练新模型，用户自己都拿不准合不合规，总有层灰色的感觉。这次 Meta 干脆明说：**欢迎拿 405B 的输出做蒸馏和合成数据**。Joe 透露，这个决定是和扎克伯格开了很多次会才敲定的。斯坦福的 Percy Liang 隔三差五发消息催他放模型，社区等这套东西等得太久了。英伟达和 AWS 已经跟上，做起了蒸馏配方和合成数据生成服务。

## Meta 图什么

红杉的 Sonya Huang 问得很直接：扎克伯格那篇宣言我读了，但 Meta 到底图什么？最先进的模型白送，等于把桌上的钱推开了。

Joe 的回答从商业模式说起。Meta 不卖云服务，从来没当过云厂商，模型本身不直接产生收入。他此前带了五年 PyTorch，那段经历给出的答案是：创新发生在社区里，新架构、新模型每周都在冒出来，别人用 PyTorch 发的代码，Meta 内部拿过来就能评估、能用，Hateful Memes 那批数据集就是靠社区一周一周往上抬的。**开放是一座桥，把全世界的创新接到自己手里**。

落到 Llama 上，好处具体是三件事。

- 安全。学术界和公司去红队测试、去越狱 Llama，Meta 巴不得大家这么干，漏洞暴露得越快，模型改进得越快。他拿 Linux 打比方：透明，修得快，反而更安全。
- 本地化。法语有加拿大法语、法国法语、喀麦隆法语，机器翻译搞不定这种颗粒度，得靠全世界的人帮你把语言绑进具体的文化场景。
- 产品。最终目的是让 Meta 自家的产品变好，这才是变现的地方。

内部有没有反对声音？有，主要是竞争顾虑：技术放出去，被人捡走了怎么办。Joe 的回应是速度。Llama 1 在 2023 年 2 月，Llama 2 在 7 月，Purple Llama 在 12 月，Llama 3.1 在 2024 年 7 月。**跑得足够快，就不怕别人捡走昨天的技术**。扎克伯格在宣言里用的词是「标准化」，要让 Llama 无处不在，就得拆掉那些人为设置的门槛。

## 模型正在变成大宗商品

Stephanie Zhan 把问题推向行业：模型会不会连最前沿都逃不过同质化？

Joe 拿 GPT-4o mini 举例：输入每百万 token 15 美分，输出 60 美分，便宜到离谱，效果还很好。再看 Meta 自己，一周之内把全尺寸的最优模型全部放出。他的判断很明确：**数据和算力堆到位，第一梯队是可以被逼近的，模型本身正在走向商品化，价值会挪到别处**。

挪到哪？Meta 的答案是 Meta AI 这个助手，是 Instagram 和 WhatsApp 里的智能体。模型继续创新，新模态、新语言，但变现靠产品。

给创业者的建议更直接。他说 Llama 3 的训练成本高到不能对外讲，Llama 4 只会更贵。**现在再从零做预训练，创业公司这笔账很难算得平**。他给的路是：用开源模型打底，把团队工程结构想清楚，需要做 LLMOps 的人、做数据微调的人、会搭 RAG 的人。他还画了一个混合架构的图景：简单查询跑在设备上换低延迟，复杂交互交给云端，开源给了你自由拆分的能力。

然后他点了一个很多人踩过的坑。不少 API 服务提供微调，用的是 LoRA 技术，你把数据传上去训练，练完**LoRA 权重拿不到，只能继续用他家的推理**。

> 「我交出了数据，却拿不到由这些数据生成的知识产权，还被绑在对方的推理服务上。这买卖不划算。」

开源模型给你的是权重本身，想蒸馏就蒸馏，想部署到设备就部署到设备。护城河在哪？他的答案只有两句：你的数据，你和用户的交互。

## Mistral 的难处，和 Llama 3 的真实打法

聊到 Mistral，Joe 的感情有点复杂，因为那批人本来是他带过的团队。Guillaume Lample 和 Timothée Lacroix 当年在 FAIR 做 AI 数学，白天推进研究，晚上到处「薅」算力，硬是训练出了 Llama 1。他形容这是合作过最拼的团队，「估计现在睡得更少了」。

但他也点出了 Mistral 的结构性难题：一边开源模型，一边靠托管模型赚钱，结果生态里的 Together、Fireworks、Lepton 用更低的单价和它自己竞争。GPT-4o mini 一降价，日子更紧，这也是它把许可证改成仅限研究用途的原因。Mistral Large 2 在 Artificial Analysis 的综合榜单上排在一个 70B 模型之下，当然那是混合基准的分。Joe 说还没内部评测，但态度是「多多益善，模型越多越好」。他还补了一句：生成式 AI 这个行当，每天早上醒来都要做好心理准备，可能又有新模型发布，「这就是干这行的乐趣」。

有人问，前沿实验室的策略是不是都差不多。Joe 的回答挺诚实。Llama 3 的论文写了 96 页，牵头写论文的同事说，写论文比训模型还累。这篇论文透露的打法是：**Llama 3 没冒多大的研究风险，主攻的是把规模推满**。用 GQA 注意力机制压推理成本，15 万亿 token，后训练大量掺合成数据，1.6 万多张 GPU 同时训练。

他拿 GPT-3 论文类比：一作 Tom Brown（现在在 Anthropic）当年做的事，本质也是把已知架构推到极限。至于「我要训 10 万张 GPU」这种话，Joe 的评价是「祝你好运」。GPU 会坏，没有顶级的 infra 和 MLSys 团队根本玩不转，这事一点都不轻松。

代价他也讲了。架构终究要演进，AI21 的 Jamba 把 Transformer 和 Mamba 混搭，基准很好看，但参数没超过 100 亿，没人知道推到更大规模还成不成立。学术界一堆聪明人，缺的就是算力，好想法没法在足够大的规模上验证。Llama 4 已经在看一批候选架构，包括 MoE。他给了一个框架：**研究风险和确定性执行之间是一场交换，风险换的是性能上限**。

模型开发是不是越来越像软件开发？Joe 用了个「Llama 列车」的类比：新能力像新特性，赶上哪班车就上哪班车，按节奏发版。安全组件已经这么干了，PromptGuard 和新版 Llama Guard 独立发布、独立迭代。但研究和产品是两种东西，产品要尽量确定，研究天生不确定，「失败了它就叫研究」，得允许它有非零的概率彻底炸掉。

## 推理从哪来，评测为什么靠不住

Sonya 把话题转到智能体推理。Joe 给的信息里最值钱的一条：**预训练语料里代码越多，模型推理越强**。这事现在听着像常识，一年前大家才想明白：代码天然一步一步、讲逻辑，喂多了模型自然学会分步思考。数学同理，科学论文也管用，科学家写作本身就讲步骤、讲图表逻辑。

FAIR 当年有个项目叫 Galactica，用 arXiv 论文训练科学模型，主导的 Robert Stojnic 和 Ross Taylor 也来自 Papers with Code 团队。发布时骂声一片，现在回头看，Joe 说那是「最酷的项目之一，领先了时代」。

后训练这边全是取舍。你可以把模型往代码上猛调，Code Llama 就是这么干的，效果很好，但其他能力会掉。**通用模型要挑的，是帕累托前沿上那个点**。谁都能挑一个基准猛优化，然后宣布自己超过 GPT-4，问题是整体能力跟不跟得上，这是两码事。

更大的麻烦是评测饱和了。社区的习惯是定一个基准就往死里优化，「模型 A 的 MMLU 分数更高，实际聊起来反而不如模型 B」这种事天天发生。他点名两个方向相对靠谱的：LMSYS 的 Chatbot Arena 和 LiveBench，因为更接近真实交互。他的结论：**先找到推理的杀手级应用，才知道该为什么数据去优化**。

## 小模型、数据墙，和明天就能用的清单

小模型这块，Joe 给了三个具体场景。

- 设备端。苹果在讲，谷歌拿 Gemma 和 Gemini 覆盖安卓。隐私敏感的数据留在手机上，聊天记录喂给端上的 RAG，配个迷你向量库，8B 级别的模型就能做本地摘要。「把最近 15 条消息总结一下」这种需求，根本不用上云。
- 安全分类器。Meta 内部的 Llama Guard 建在 8B 上，作为二级模型跑着其实挺贵，内部已经在试更小的。这类模型本质是分类器，不做自回归生成，还能再压。
- 边缘和私有化部署。很多任务小模型已经够用，复杂查询留给云端大模型兜底。

至于吵翻天的「数据墙」，他的态度分两层。合成数据这条路已经被验证了，这次发布后训练用了几百万条带标注的合成数据，大部分由 405B 自己生成。数据授权也在变成军备竞赛，OpenAI 在买，Meta 也在买，谷歌手里还有 YouTube，**大公司在数据上的优势只会更明显**。墙到了吗？他说还没到，然后开了个玩笑：把日程定在一年后，到时候再聊。

快问快答里有两个细节值得记。问 SWE-bench 什么时候过 50%，他不敢给年份，**任何基准一旦被盯上，破解速度都会快过所有人的预测**。问开源模型什么时候超过前沿，他笑了：这个问题你们以后不用问了，405B 已经在那个梯队里了。至于 Meta 会不会一直开源，他指了指扎克伯格那封信，从 PyTorch 到 FAIR 再到 Llama，这家公司开放了很多年，谈不上是一时兴起。节目最后他还说，去看论文末尾的致谢名单，他甚至想要一段星球大战式的滚动字幕来放所有贡献者的名字，Llama 是一个村子的人合力做出来的。

最后给几条明天就能用的。

- 还在用 API 微调的，翻一下合同，确认 LoRA 权重能不能导出。拿不到，认真考虑换开源方案。
- 405B 的输出现在可以合法拿来做蒸馏和合成数据，英伟达和 AWS 都出了现成服务，小模型团队可以直接用。
- 团队配置照着 Joe 的清单补：LLMOps、数据微调、RAG，这三类人比多招一个预训练研究员更急。
- 评测别只盯 MMLU，把 Chatbot Arena 和 LiveBench 加进来，最好再自建一组贴着自家产品场景的题。
- 隐私敏感、高频低难度的任务放到端上跑小模型，复杂查询留给云端，混合着来。

模型免费了，护城河得自己挖。Joe 那句话值得贴在工位上：你的数据，你和用户的交互，才是你的护城河。