# 谷歌一年砸2000亿美元建AI数据中心，负责人说10万块芯片连起来跑，每小时都有东西坏 > Training Data No. 110 中文精读 - 原标题：Google's AI Infrastructure Chief, Amin Vahdat, on the Physics & Economics of Frontier AI - 发布日期：2026-10-06 - 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等 - 网页版：https://trainingdata.qiaomu.ai/ep/110-google-s-ai-infrastructure-chief-amin-vahdat-on-the-physics-bGph8G.html - 精读字数：约 6967 字（阅读约 15 分钟） > 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 谷歌2026年的资本开支预计超过2000亿美元，绝大部分变成混凝土、变电站、冷却塔和成排的机架。管这件事的人是 Amin Vahdat，2025年底被任命为谷歌AI基础设施负责人。他在红杉资本出品的 Training Data 播客里给了一个很硬核的数字：**10万块加速器连在一起跑同步任务，可能一天坏好几次，配置特殊的时候一小时就好几次。** 这句话把整场对话的基调定下来了。外界看AI数据中心，看到的是算力军备竞赛和漂亮的布线照片。真正在里面干活的人，每天处理的是长尾故障、电力和一棵光纤树。 ## AI数据中心和普通数据中心，差在「专用」两个字 Amin 先解释了两者的共同点，比想象中多。都是混凝土外壳、电气场、机械场、冷却系统、成排的配电，加上大量网络把算力连起来，再塞进不少存储。 区别在于规划周期。普通数据中心是25到30年的建筑投资，里面的硬件寿命大概六年，一栋楼要装下四五代硬件。所以设计时追求通用和可替换，什么东西都能往里塞。 AI数据中心更像定制品。建筑和要放进去的硬件一起设计，甚至会明确说这栋楼不放太多存储。原因是功率密度差得太远：一个存储机架10到40千瓦，旁边一个CPU或GPU机架轻松几百千瓦，业内已经在讨论两年内做到兆瓦级。一条通道里放30个存储机架，和放一两个AI机架，建筑形态、配电方式、网络带宽完全是两套东西。 如果把楼盖得太通用，结果往往是盖得过大、过度建设，为了30年的灵活性付出代价。**AI数据中心的选择是牺牲通用性，换取冷却、配电、网络上的深度共同优化。** 播客里提到谷歌给一家叫 Ineffable Intelligence 的公司交付了 Vera Rubin 集群，Amin 说那几排机架的光纤分布照片是他们社交账号历史上最受欢迎的内容之一。他自己评价：美在观者眼中，但对做这行的人来说，那东西确实好看。 ## FLOPS是虚荣指标，谷歌内部看的是 goodput 索尼娅·黄问谷歌怎么在这轮建设里衡量自己。Amin 说 FLOPS 或者任何以芯片为中心的数字都是理论值，是在特定条件下单芯片能跑出的上限。真正重要的是某个负载实际交付的性能。 而实际性能很少由单芯片决定。可能是2块、8块、1万块芯片怎么组合，加上喂数据的CPU、连接一切的网络。于是他引出谷歌内部的一个词：goodput，可以译成有效吞吐。 他打了个比方。你在纸上解题，第一步第二步第三步，发现第三步错了，退回第一步重来。你确实在干活，这是 throughput。但你交付答案的时间被拉长了，那才是 goodput。**故障、恢复、等待排查的时间，全部算在有效吞吐的账上。** 同步负载把这个逻辑放大到极致。10万块芯片要在微秒和毫秒级协同，一块出问题，整个任务可能停摆。得先搞清楚哪块坏了，找到上一个检查点，恢复，重启。最坏的情况是从头再来，推理侧更容易出现这种局面。 故障频率有多高？Amin 的回答是，在10万加速器规模下，一天多次是肯定的，某些配置下一小时多次。而且没有单一主要原因，如果存在，早就修掉了。剩下的是不断发现的长尾：新产品上线时被高速互连打脸，网络问题，硬件问题，还有大量软件问题。编译器bug、运行时bug、模型问题、操作系统问题，硬件再完美也救不回来。 他提到这些芯片本身就是制造工艺的极限产物，一颗芯片往往由2个、4个、8个甚至更多小芯片封装而成，旁边还有HBM、网络连接、共封装光学。不是批评，是能坏的地方太多。10万颗凑一起，总有东西坏。所以遥测是个巨大的工程问题，要在秒级、分钟级持续从海量数据里找针，有些任务要盯几小时、几天甚至几周。 ## 服务容量每半年翻一倍，大头来自软件 索尼娅问整体产能规划。Amin 确认了「大约每六个月翻一倍」这个说法，但强调是有效可用容量，落到服务侧就是token生成能力。 关键在后半句：**这不等于每半年把FLOPS翻一倍。** 让同样硬件每半年产出两倍token，很大一部分来自软件。可能是模型优化，可能是运行时优化，实际是几十上百个小优化接连生效。 那硬件、模型、其他软件各贡献多少？Amin 说没有精确拆分，但经验上大部分收益来自模型侧和软件系统，因为它们让已有硬件被更有效地使用。硬件本身也在快速进步，每年2倍以上的性能提升完全可能，它像一个乘数，把上面所有东西一起抬起来。 他顺带认可了「智能每瓦」这个指标，谷歌内部的版本是「每瓦有效吞吐」。瓦特必须放在分母上，这是后面所有讨论的伏笔。 ## TPU十三年：一次反直觉押注，到2026年一拆二 谷歌2013年启动自研芯片，当时主流智慧的说法是别为单一负载造专用加速器。理由很充分：摩尔定律还在，18到24个月性能翻倍，标准编程模型、C++、Java、Python 都能直接用。Amin 把这叫做芯片界的「苦涩教训」：专业化永远赢不了。 谷歌还是押了。因为当时有少数几个应用收益极大，用通用CPU支撑要耗费难以想象的数量。公司内部也有不少人没把握。结果这一注押赢了。 第一代芯片只做推理，主要是语言翻译和语音识别。第二代转向训练。差不多在第二代出来的时候，Transformer 被发明，这成了TPU项目的转折点。再往后推荐系统也跑得很好，广告相关负载跟着上来。范围一路扩张，生成式AI时刻到来后又继续放大到更大规模的系统。 2026年谷歌发布了两款芯片：TPU 8i 面向推理，TPU 8t 面向训练。Amin 说这个决定两年前就在讨论，当时的问题是2026年该做一颗还是两颗。如果推理只占市场2%到5%，哪怕专用芯片快2倍也不划算，不如用一颗通用芯片换取一致性。到了2026年，推理和服务真正起飞，专用芯片可能覆盖生命周期内30%到60%的市场，账就算得过来了。 他讲清楚了专业化的本质权衡：越专用越快越省电，也越不灵活。**押注的前提是这个负载能活得够久。** 如果三个月后就消失，哪怕这三个月需求巨大，拦截窗口也太窄。所以必须能预测这个负载的持久性，以及专业化到底能换来多少。 还有一个容易被忽略的设计细节：8i 和 8t 都能干对方的活。如果一个只能推理一个只能训练，谷歌就得在硬件六年生命周期开始前，精确预测两种需求的比例。现在任何一边有富余产能，都能顶上。**专业化做到什么程度，和保留多少可替换性，是同一道题的两面。** 索尼娅抛了个挑衅问题：既然满世界都是Transformer，为什么不把Transformer烧进芯片？Amin 说矩阵乘、向量乘、softmax 这些线性代数原语早就硬化了，再往下是针对具体模型架构的专用化，比如多少层、层间怎么走、每个维度的矩阵形状。确实有公司在往那个方向想，他认为很有意思。 ## 和DeepMind在同一个房间改芯片 协同设计在谷歌内部是怎么运转的？Amin 说核心是和 DeepMind 肩并肩工作。硬件有五六道流水线：量产中的、刚从制造商回来在调试的、即将流片的、设计阶段的、概念阶段的，跨度好几年。 在量产那一端，双方一起把每瓦交付的智能做到最大。在即将流片那一端，才是真正有意思的部分。DeepMind 可能提出，如果硬件支持某个数学操作，端到端训练能快一大截。两边工程师挤在一个房间里干几天到两周，常见的结果是：没法完全照你说的做，但可以这样做，你们模型架构那样改，能拿到98%。也可以选择把流片推迟一两周，因为收益太大值得。 Amin 说这种事跨公司边界也能做，但难得多。他还提到一个组织文化层面的原因：谷歌研究、DeepMind、Transformer 的发明都发生在重叠的房间里，这一代研究员习惯了能影响硬件，也清楚硬件按多年周期运转。**一个0.5%的小改动，他们不会来找硬件团队，因为知道停流片不是发一个代码变更。** 但真有大的机会，双方一定会一起想办法塞进去。 预测五年后什么负载最流行，听起来不可能。Amin 的观点相反。TPU 架构在中等细节层面上，从第一代到现在没怎么变过。就像CPU的指令集一直是load、store、add、branch，上面跑的软件却换了好几代。TPU 的几件事：超大矩阵乘单元、管理向量和散射聚集操作的 SparseCore、通过ICI网络远程读写内存。这些基础原语撑住了很多代模型和算法结构。 ## 长时程Agent把负载形状改了 过去一年最大的负载变化是长时程Agent。Amin 说有两个巨大影响。 第一，不再是人对着加速器交互。你在浏览器里打字，等回复，读，想，再追问，中间是几秒到几十秒。Agent 没有人在环路里天然限速，拿到回复立刻解析、推理、发下一个请求，交互间隔掉到毫秒级。 第二，解析和推理大概率发生在CPU上。CPU 还要判断下一步需要什么上下文，可能从本地DRAM拿，可能从另一台CPU的DRAM拿，可能在SSD上，可能在更远的HDD上。大量编排工作冒出来。**结果是对加速算力的需求在涨，对传统CPU、网络、存储的需求也在暴涨。** 那要不要把更多CPU机架放到GPU和TPU旁边？Amin 说这正好回到专用化那道题。混放意味着没法把TPU机架的密度和网络需求做到极致。另一种选择是保持同质：TPU放一栋楼，CPU放隔壁，硬盘再放另一栋。代价是跨楼网络，可靠性复杂度上升，成本上升，延迟从微秒级涨到几百微秒甚至更高，还要考虑排队。 他讲这些时的语气挺轻松，索尼娅说你这工作真难，他回了一句：好玩。 ## 光纤、镜子，和毫秒级换机架 谷歌在网络上是老玩家。大概十五六年前，他们是最早在数据中心内部用波分复用的公司之一，一根光纤塞多个信号，机架间通信全走这个。同期引入的还有光电路交换。 Amin 解释得很直白。传统电分组交换机要把包拿到电域，看包头里的目的地址，查表决定从哪个端口转发，每秒几十亿到上万亿个包都这么处理。光电路交换不碰这些比特，它只决定从哪个输入端口的光打到哪个输出端口。最早用的是MEMS微镜，用微机电马达控制三维反射镜，一个128端口或256端口的盒子，每个输入端口的光纤通过镜子反射到指定输出端口，镜子的角度可以编程改。 最初做这件事有两个原因。一是给机架群之间造局部性，搜索的计算集群和存储集群之间通信多，就用镜子纯光学地搭捷径。二是可以在不移动任何光纤的情况下扩容和缩容网络骨干。 到了TPU时代，这套东西有了新用途。TPU之间是环面拓扑直接互连，当一个TPU机架故障，可以把光重定向到备用机架，不用人碰光纤，毫秒级完成。 索尼娅追问，那为什么还要光纤，干脆全用自由空间光？Amin 说衰减和带宽会大幅下降，而且在超大建筑尺度上，不用光纤在三维空间里对准几乎不可能。他们认真讨论过这件事，结论还是以光纤为主。 ## 电力是唯一真正卡住的东西 被问到最大约束是什么，Amin 说没有单一最大约束，全都是，而且不断在变。但根本上，电是最底层那一个。其他问题看起来都知道怎么解，只是时间问题。电是长期的绑定约束。他提到丰富的清洁能源，比如核能，能解决很多问题，但什么时候规模化仍然未知。 那实际操作怎么做？假设要建一个需要1吉瓦的数据中心。Amin 说谷歌的首选永远是用电网，接公用电网。当然要提前很多年通知电力公司，吉瓦级不是明天要、你什么时候开始计费的事，是双方一起规划。 他还专门讲了一个容易被忽略的责任：**电网为我们新建或升级输电线路、增加变电站，这些成本谷歌自己承担，避免摊到其他用户电价上。** 时间错配真实存在。比如2028年需要1吉瓦，电力公司2029年才能给到1吉瓦，2028年只能给700兆瓦。**剩下300兆瓦怎么办，一部分答案是自己建一些发电，太阳能、电池备用，或者在电力充足时反过来向电网送电。** 他提到一年中最热的两周居民用电暴涨，如果本地有发电能力，可以回馈电网。 为什么不干脆完全自建？Amin 用统计复用来解释。要1吉瓦且做到99.99%以上可靠性，得建2吉瓦，一加一冗余，非常贵，还要保证是清洁能源、离数据中心不远。和电网合作，把自己的一部分发电能力在对方需要时送出去，在自己需要时取电，靠更大的基数做统计复用，大家都赢。极少数情况下会在表后自建，但依然假设最终要接电网。 ## 数据中心建多大，是一道没有标准答案的题 Amin 说这是门艺术，内部争论很多。十到十五年前谷歌就在争论要不要把所有东西塞进一个数据中心，那时候1吉瓦就是想象中的极限。单点故障是显而易见的担忧，放在30年周期里更是如此。 但训练负载的逻辑相反，越大越好，网络距离越短越好。于是两个问题同时压过来：单点故障，和电力可得性。今天全世界没有任何一个地方能装下谷歌的全部需求，这不存在。 所以答案是分层。边缘节点可能几十兆瓦，和运营商合作的可能就是一个机架，训练集群接近1吉瓦，其他站点几百兆瓦。他们有模型和模拟器，但结论随场景变。 生命周期管理上，索尼娅的猜测部分正确：最新最大的集群训练前沿模型，老的回收做推理。Amin 说框架合理，但不能只靠老训练集群做推理，因为推理需求太大。而且训练集群在某一年会集中在同一大洲甚至同一区域，其他大洲的推理容量就不够了，必须单独建服务集群。 服务集群不一定更便宜。推理需要把计算、网络、存储放得近，反而更难专用化。训练是又大又密的同质部署，推理是混合部署，而且要分散到全球各地靠近用户，同一个模型还有多个版本。所以服务集群更小，垂直整合程度更低。 Amin 之前说过一句被广泛引用的话：七八年前的老TPU还在100%利用率。这次他补充了完整逻辑。折旧年限大约六年，新一代能效更高，所以到期确实会换。但换的是整个pod，一个TPU pod大约9600颗芯片、150多个机架。新pod的占地未必正好匹配旧pod腾出的空间，而他们没法提前几代规划这件事，拆旧装新本身就是硬活。 ## 开放标准：JAX很好，但你也可以用PyTorch 谷歌内部开发了JAX，用得很重。Amin 说他们完全可以要求「想上TPU就用JAX」，但他们做了TorchTPU，让未修改的PyTorch模型能直接跑。 他拿IP协议做类比。七十年代末八十年代初有很多竞争协议，IP赢了，因为它是开放标准，是沙漏的细腰，上面什么软件都能跑，下面什么硬件都能接，任何人拿IP插进路由器端口就成了互联网的一部分。这就是互联网能铺开的原因。 他的表述是：**想插高度专用的东西可以，觉得自己的东西更好也可以插进来，但谷歌要支持开放标准和开源。** 这也是他们同时提供CPU、GPU和其他加速器的原因。 ## AI已经在改硬件工程本身 软件工程被AI改变已经有大量公开讨论，Amin 说硬件侧的变化外界关注少，但同样显著。他当天刚看了数字，硬件工程师用AI的程度和软件工程师一样高。从设计启动到流片的时间在缩短，bring-up 的时间在缩短。 另一个不那么被预期的变化是数据中心设计。1吉瓦单体还是100兆瓦、200兆瓦园区，过去是非常细致的电子表格加人工决策过程，现在有大量AI参与，把信息汇集到一起，摆到做决策的人面前。他特别说明，还不是推理模型在替人做判断，人依然在决策环里。 他还提到一句很有意思的话：谷歌在用Gemini设计给未来Gemini用的硬件。 ## 太空数据中心：账算得过来，麻烦也一堆 索尼娅问轨道数据中心。Amin 确认谷歌在认真推进，内部称之为 moonshot，没有开玩笑的意思。 账是这么算的。太空没有大气衰减，太阳能多出大约40%，也就是1.4倍。更关键的是在太阳同步轨道上，太阳能板有98%到100%的时间被太阳照到，地面只有28%到35%。1.4倍乘上3到4倍的时间，电池基本可以从等式里去掉，还是零碳。**这是能源约束下少有的、物理层面成立的解法。** 麻烦同样清楚。散热在太空里反而更难。可靠性问题被放大，维修更难，他说也许真会派机器人上去。冗余会成为朋友。自由空间光通信从讨论变成必需，激光要对准接收器并实时校准。他的结论是没有根本性的拦路石。 ## 2036年的 frontier 超算长什么样 Amin 说十年正好在不确定性的边缘，也许有人已经在想2036年的机器，但锥形的误差范围太宽。 从趋势看，集成度会大幅提高。他为 Ineffable 做的 VR200 机架光纤很漂亮，2036年会更集成、更少光纤。他说不敢说完全没有光纤，但可能只有一小束从机架里出来。机架本身会在中央工厂制造，里面深集成72、144、288，甚至576、1152颗加速器。**单个机架功率到多兆瓦。** 使用方式会变得像插家电：把机架推到位，接上水、电、光纤，三根线插好就能跑。 索尼娅最后问，那会不会是一个漂浮在太空的外星球体。Amin 说2036年不排除直接发射上太空，由空间站的机械臂接住，插进对应模块。他说这事想想就很好玩。 ## 明天就能用上的三件事 第一，评估任何AI基础设施方案时，把「理论算力」换成「有效吞吐」。问对方三个问题：这个数字是在什么负载下测的，故障时恢复要多久，恢复期间算不算进交付时间。三个问题问完，很多漂亮的benchmark会露出底色。 第二，做容量规划时，把「每瓦交付的智能」当成主指标，而不是绝对值。Amin 的说法很清楚，同样硬件每半年产出翻倍，大头来自模型和运行时优化。这意味着预算里软件优化的投入回报，可能高于再加一批卡。 第三，如果你在规划自建算力，先算电力这笔账，而且要按年算，不是按月。吉瓦级需求要提前数年与电网共同规划，99.99%可靠性意味着2倍建设量。把这个约束提前放进路线图，比事后找电便宜得多。 > 「我们这代人有幸经历这件事，也有幸定义它。」Amin Vahdat 在结尾这么说。 这句话放在一堆故障率、兆瓦数和输电线路中间，倒是不显得空。