# 从修Xbox到年入过亿美元，Dylan Patel 把AI算力的账算透了

> Training Data No. 100 中文精读

- 原标题：Why Hardware-Software Co-Design Is AI's Real 100x: Dylan Patel of SemiAnalysis
- 发布日期：2026-06-30
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/100-why-hardware-software-co-design-is-ai-s-real-100x-dylan-pate-f6D_ai.html
- 精读字数：约 6302 字（阅读约 14 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

同等质量的模型输出，价格一年降了60倍。

这个数字来自 Dylan Patel，SemiAnalysis 的创始人。他的公司有90个人，每天在15种芯片上自动跑推理测试，测的就是这件事。传闻这家公司年收入刚过1亿美元，他不置可否，只说「消息有多准，数字就有多准」。

这是红杉资本播客 Training Data 的一期节目，主持人 Shaun Maguire 和 Sonya Huang 走进了 SemiAnalysis 的办公室。整期聊下来，从推理基准怎么建，到谷歌为什么一边造TPU、一边花每小时11美元向 xAI 租GPU，再到2040年太空数据中心能占多少份额。我按主线拆开讲。

## 在汽车旅馆长大的人，怎么成了算力圈的定价者

Dylan 的出身和「硅谷精英」四个字不沾边。父母开汽车旅馆，一家人住在旅馆里，后来又开了个加油站。他开玩笑说，自己训练的第一个神经网络，是靠观察进门客人的年龄、职业、长相，提前把踩脚凳挪到对应香烟的货架下面。骆驼牌还是薄荷味，挪早了省事，挪晚了尴尬。

八岁那年他想要Xbox 360，圣诞节真拿到了，机器却坏了，正是那批著名的「三红」硬件缺陷。他拆开机器，短路温度传感器，修好了。潘多拉盒子就此打开。

12岁，他当上硬件论坛版主，管安卓、苹果、装机好几个版块，天天泡英特尔、英伟达、AMD 的帖子。别人吵哪个技术酷，他从小生意家庭出来，习惯性算账：英伟达用更小的芯片做到更好的性能和功耗，毛利还更高。**技术判断和钱放在一起看，是他从12岁起就有的习惯。**

后来他读了几个和半导体无关的学位，做了两年量化，给公司赚了超过1000万美元的无风险收入，奖金却被人顶了名。2020年初，带大他的祖母失智、摔伤、去世。几件事赶在一起，他辞了职。

疫情期间他在网上和人吵架，匿名账号被人扒出真实身份。慌了三周，他想通了，干脆用真名开博客。24岁生日那天，SemiAnalysis 发了头两篇文章。

再往后的故事更离谱。他买了辆皮卡，车斗装上帐篷和充气床垫，一个人环游美国国家公园。工作日在砍到30美元一晚的汽车旅馆里干活，周末在国家公园里读半导体教材，那时候 Starlink 还没普及。从2020年年中到现在，他没有固定住所，每年飞40多个会议，从两万人的 NeurIPS，到日本一场只有300人、几乎没人讲英语的化工会议。

他讲自己的学习方法：SPIE 光刻会议第一次去，90%的内容听不懂；第二次懂一半；第三次懂75%。这个行业深到没有尽头，节目录制前一天，他刚听说一种年销售额1亿美元的化学品，此前根本不知道它存在，而每颗芯片都离不开它。

**SemiAnalysis 的护城河，是把技术、供应链和钱放进同一间办公室。**90个人里，一半是供应链各环节的工程师，一半是对冲基金出身的人，两拨人天天吵架，工程师喊这技术最酷，前基金经理问那成本呢。他当过多年论坛版主，公司气氛可想而知。用他自己的话说：「别跟猪摔跤，因为猪很享受。」

他在行业里第一个重要人脉也是网上吵出来的。2020年他用匿名账号「钓鱼」，创办过 Mosaic ML 的 Naveen Rao 回了帖，他从私信聊到通话。Dylan 说，Naveen 现在的新公司想同时在硅、软件抽象层、模型层三层创新，还打算把模拟计算和能量模型一起押上，「大概率不会很快成，但让人期待」。红杉投了这家公司。

## 基准测试必须天天跑，因为模型一年便宜60倍

Sonya 先问了个大问题：推理会不会成为地球上最大的市场？Dylan 的回答是，token 的使用和它创造的价值会是最大的市场，比石油大得多，会占到GDP的好几个百分点。

支撑这个判断的，是他们做的 InferenceX 项目，现在已经是行业标准。传统基准测试是一次性的，测三个月发个报告，发布即过期。而模型每周都在出新，软件库的更新周期是一周两次，PyTorch、SGLang、vLLM 每次更新，性能就变一次。**软件在狂奔，静态榜单天然是过期的。**

所以 InferenceX 是个活着的基准。CoreWeave、Crusoe、Nebius、甲骨文、微软、亚马逊、谷歌、OpenAI 捐算力，SGLang 和 vLLM 团队配合调优，英伟达、AMD、谷歌TPU、亚马逊Trainium 全都在里面。目前捐了超过5000万美元的硬件，TPU 和 Trainium 加入后会超过1亿美元。15种芯片，每天自动跑最新模型，中国最强的几个开源模型和美国最好的开源模型都在列，全部结果和配置公开。

关键产出是一条帕累托最优曲线。Dylan 说，以前大家比较推理性能，经常拿别人曲线上的次优点对比自己的最优点，「就像我开保时捷和赛车手比圈速，肯定是我慢」。现在任何人都能去 InferenceX 下载每个点的最优配置容器，直接跑出接近峰值的性能。

那条曲线本身，他认为是最重要的一条曲线：吞吐量对交互速度。一头是批处理100个用户，每人每秒10个token，总共每秒1000个，便宜但慢；另一头是单用户每秒250到500个token，快4倍，也贵4倍。

两种需求都真实存在。批量处理文档的任务不在乎等一晚上，选便宜那头；Claude Code 的 fast mode 比普通模式贵得多，OpenAI 也有优先队列，照样有人买单，因为用token的人本身很贵，反馈循环每快一分钟都值钱。SemiAnalysis 自己几乎只用 fast mode。**AI基础设施现在还是一刀切，未来会沿着这条曲线分化出完全不同的产品。**

顺带说下 Cerebras。Dylan 认为这家公司很有创新性，极速推理是个大市场，但他点出一个风险：超大模型配超长上下文，在 Cerebras 和 Groq 这类 SRAM 架构芯片上很难跑。如果模型真到10万亿参数、百万token上下文，就放不下了。而实验室的收入大头一直集中在最强模型上，新模型 Fable 和 Mythos 更贵，用户照样大规模迁移。谁在乎token数量，美元才是真的。用他的话说，没人按销量夸凯美瑞，美国最赚钱的车是皮卡。

## 真正的100倍，和CUDA护城河的真相

节目核心论点在这里。Shaun 先抛了个判断：过去三年，效率提升大部分来自硬件层，一部分来自模型层，内核层还剩多少空间？

Dylan 的回答很直接：「Shaun，我完全不同意你。」

他的拆法是：硬件层从 Hopper 到 Blackwell，在最优化部署上对 DeepSeek 这类模型大约30倍提升，可观，但模型层的进步更大。三年前是 GPT-4，现在一个总参数270亿、激活20亿的开源小模型比它强得多。真正的大头在层与层之间。

> 「三层各优化2倍，乘起来是8倍。但跨层协同设计之后，能做到100倍。」

这就是软硬协同设计。证据他信手拈来：DeepSeek V3 里所有专家的矩阵形状，是照着 Hopper 优化出来的；到 V4，形状换成照 Blackwell 和华为芯片优化。TPU 客观上是好芯片，跑着整个 DeepMind，还给 Anthropic 做训练，但跑 DeepSeek 就是很差，跑别的模型反而很好。矩阵乘法单元的尺寸、注意力的写法、专家的形状、网络的输入输出模式，全都和芯片咬合在一起，拆不开。

把协同设计好的模型放到旧硬件上跑，性能「真的不怎么样」。Gemini 3 照 TPU v6e 优化，下一代 Gemini 照 v7 优化。Anthropic 在 TPU 上训练，推理大量用 Trainium 和 GPU，每一层都调过。OpenAI 的模型从照 Hopper 优化转向照 Blackwell 优化。

Shaun 追问：中国这几年是不是把这事做得比西方好？Dylan 也不完全同意。他的看法是，西方只是不公开。GPT-4o 的稀疏程度、参数形状从来没公布过，但它和 DeepSeek V3 尺寸差不多，发布还更早。**你以为某家独门的功夫，可能只是另一家没掀开给你看。**

协同设计这个框架，恰好解释了 CUDA 护城河的变化。Sonya 提出一个观察：过去三到六个月风向变了，模型公司不再纠结「要不要为别的芯片写定制内核」，反正 Claude 和 Codex 写内核很快，需要可编程性的大客户也只有10个量级的模型公司。

Dylan 认同一半。CUDA 的软件护城河确实在被解开，因为模型写代码太强，软件会被商品化。但他指出，大家挂在嘴边的 CUDA 护城河，其实和 CUDA 关系不大。**真正的锁定在下游：DeepSeek、Kimi、智谱、阿里、腾讯、小米的模型，全都是照着 GPU 协同设计的，在 TPU 上跑不好。你要用这些开源模型，就得买英伟达。**推理API提供商、做强化学习定制的公司，全被这个事实压着走。

反过来的剧本也成立：如果谷歌哪天开源一批真正强的模型，而这些模型在GPU上跑不好，用户就会去租TPU。谷歌手上有 Gemma，就看它舍不舍得押注。小团队继续用 vLLM、SGLang、PyTorch 就好，大实验室根本不依赖开源实现，OpenAI 早就 fork 了 PyTorch。他们的打法变成：选最划算的硬件，把模型和基础设施软件从头到尾照着它设计，软件让 AI 写。

至于英伟达对 TPU 谁赢，Dylan 拒绝站队。两年后谷歌一年造1000万颗以上TPU，英伟达造几千万颗GPU，两边都是千亿美元以上的生意。NVLink 靠交换机连72颗GPU，谷歌 ICI 没有交换机，却能以超高带宽连8000颗，代价是流量要穿过中间的芯片。OpenAI 的模型更稀疏，Anthropic 的更稠密，架构已经分岔。**谁更好，取决于你的模型长什么样，而模型架构本身一年一变。**

生态的终局他怎么押？所有人都会造自己的芯片，也都会留通用算力这条后路。谷歌同时有三套TPU设计项目，和博通做一套，和联发科做一套，第三套架构完全不同，他不肯细说。用梯度下降来理解：专用芯片冲着当前最优解去，容易掉进局部最优，而实验室连自己一年后用什么模型架构都说不准。**专用和通用会长期共存，市场大到足够让细分玩家也赚到钱，哪怕大头归了英伟达、TPU 和 Trainium。**

## 两个几十年没变的瓶颈

瓶颈清单上，Dylan 先说内存。NAND 单元25年前发明，DRAM 单元40年前，单元本身没有任何重大突破，过去五年只是把 HBM 堆得更多、跑得更快。接下来几年真正有意思的方向，是把内存直接堆到计算芯片上，带宽会爆炸式增长。

第二个是功率密度。过去二十年，看一眼芯片面积就能估出功耗，大约每平方毫米1瓦，100平方毫米的芯片就是100瓦上下。现在的旗舰芯片已经到1400瓦，Rubin 一代2000瓦，Rubin Ultra 大约4000瓦，但那只是把硅面积铺大。**真正激动人心的变化，是往每平方毫米里灌超过1瓦。热和电干扰都是硬仗，可一旦成，需要的硅面积就小了。**

聊到每瓦智能，他先开了个玩笑：单论算数学，一台30年前的 TI-84 计算器的每瓦智能都比人脑高。说回正题，同等能力的成本一年降60倍，每瓦智能一年提升接近40倍，而且没有停。和人脑比，芯片还差好几个数量级，但这件事暂时不重要，给计算机供电比给人脑供电容易多了，人要吃饭、会生病、还得睡觉。

能源瓶颈他给了个土办法：美国能造几百万台卡车柴油发动机，改成发电机组放到数据中心旁边，维修就找汽修工。听起来糙，但他的意思是，别把「能源难」当成不可动的墙。

## 算力荒、地皮差价和黄仁勋的算盘

几个数字感受这轮紧俏。今年全球新增数据中心算力20吉瓦，算上延期；明年超过30吉瓦。即便这样，Dylan 说 Opus 4.5 发布后七八个月里，世界算力没有翻倍，而新模型能干的有价值任务翻了几倍，缺口还在扩大。

价格信号最诚实。谷歌有TPU，却以每小时11美元的单价向 xAI 租GPU。Trainium 租给 Anthropic 和 OpenAI 的价格折合每吉瓦每年不到100亿美元，GPU 通常在每年120亿到130亿美元，而谷歌租 SpaceX 的GPU，价格达到每兆瓦每年2500万美元，折合每吉瓦每年250亿。数据中心托管价从每千瓦每月60美元涨到120到160美元，客户信用差能到200美元，印度因为电网不稳只要80美元。

为什么 Anthropic 敢这么花？Dylan 摆了笔账：Anthropic 二季度已经实现剔除股权激励的净盈利，三季度可能连股权激励都覆盖，Opus 4.8 的API token毛利率超过80%。算力不够就高价租，租来的机器立刻卖token，毛利率75%的情况下算力成本翻倍，还剩50%，账算得过来。

质量差价也拉开了。谷歌能在1吉瓦的数据中心里塞1.5吉瓦的硬件，把负载倒来倒去，把电力用满；还能和电网谈「平时给我2吉瓦，一年那三天你叫我关我就关」，靠现场电池和发电机顶住。CoreWeave 的GPU集群性能和可靠性实测好过亚马逊、谷歌、微软，但谷歌房子没盖好就能提前六个月卖，拿合同去抵押贷款付订单，SpaceX 更直接，机器在跑，现买。**有资产负债表的人，每兆瓦卖出的钱就是更高。**

至于泡沫担忧，Sonya 提到 Crusoe 有客户叫停了建设。Dylan 反问她：高杠杆高增长，少量股权撬巨大上行空间，你做的是股权投资，去私募股权学校补补杠杆收购的课。他自己的判断是，只要模型能干的经济价值扩张得比算力快，潮水就不会转向，而过去六个月正是模型跑得更快。模型还在帮着写基础设施、加速下一代模型发布，一个准递归自我改进的循环已经转起来了。

钱的问题他也不避讳。谷歌账上躺着 SpaceX 的股票，解禁就能卖1000亿美元，照样选择增发融资，说明他们认为自己要花的钱远不止这些。Meta 宣布融资当天股价大跌，但所有公司都会继续融，债也好股也好。水龙头什么时候关，取决于模型进步什么时候停。

为什么 neocloud 这个物种能存在？Dylan 在2023年写过一篇让亚马逊很恼火的报告《Amazon Cloud Crisis》。亚马逊的传统云优势，Nitro 网卡做租户隔离、自研SSD压成本、Graviton CPU降核价，到了AI云全成了累赘。没人租单卡，大家整机架、整年地租，安全隔离没意义，Nitro 网卡反而伤性能。微软的数据中心团队在预测翻倍时掉了链子，只能外购 neocloud 产能。再加上激励错位：大厂没人因为提前六个月交付而发财，Crusoe 那帮人是超级杠杆的股权持有者，交付慢了就发不了财。

至于黄仁勋，Dylan 的解读很冷：**Jensen 最怕的世界，是超大规模云厂商一手遮天。**所以他撒钱扶植各种新AI实验室，满世界劝人投资，也喜欢中国实验室，为的是多极化。今天卖给 Crusoe 的GPU和卖给谷歌的GPU同价，五年后 Crusoe 活着，TPU 和 Trainium 就弱一分。往水里撒饵，最强的鱼自己活下来。

太空数据中心，他给了个时间表：2030年之前占比不到1%，2040年新增算力的一半以上在太空。2030年光 OpenAI 和 Anthropic 合计就要超过100吉瓦，2040年整个行业到太瓦级。

## 明天就能用的三件事

- **去 InferenceX 查你用的模型有没有最优配置。**开源容器直接下载，同一个模型，配置调对调错性能差几倍是常事。你觉得模型慢，可能只是没站在帕累托前沿上。
- **把你的工作负载放到那条曲线上定位。**批量处理文档就选吞吐优先，别为用不到的延迟付4倍价钱；代码agent和交互式产品认真算一下 fast mode 的账，省下的时间比多花的钱值钱，就切过去。
- **评估技术栈时问一句：这个模型和这块芯片是协同设计的吗？**把A家的模型搬到B家的芯片上，性能塌方是常态。选型时把模型和硬件当成一个整体看。

节目最后，Shaun 问他被踩到哪个话题会炸。Dylan 说是「AI没有回报率」这种论调，因为那等于否认模型在进步。有人拿着停在90%的旧基准说模型停滞了，可基准饱和了就该换新的，能力曲线一路向右上方走。他研究了18年半导体，昨天还在学一种新的化学品。**这个行业的知识折旧速度，已经快过大多数人的学习速度。**