# 英伟达CTO卡根：摩尔定律快停了，算力还能一年涨10倍

> Training Data No. 69 中文精读

- 原标题：Nvidia CTO Michael Kagan: Scaling Beyond Moore's Law to Million-GPU Clusters
- 发布日期：2025-10-28
- 主持：Sonya Huang · Pat Grady · Konstantine Buhler 等
- 网页版：https://trainingdata.qiaomu.ai/ep/069-nvidia-cto-michael-kagan-scaling-beyond-moore-s-law-to-milli-H9JjlT.html
- 精读字数：约 5162 字（阅读约 11 分钟）

> 本文为 trainingdata.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2019年3月，英伟达以70亿美元收购以色列网络公司Mellanox。那一年，英伟达市值大约1000亿美元。

六年过去，市值4.5万亿美元，涨了45倍，现在是全球市值第一的公司。主持人Pat Grady开场就提到，红杉合伙人Shaun Maguire每隔半年就要论证一次：没有Mellanox，就没有今天的英伟达。

Mellanox联合创始人、现任英伟达CTO的迈克尔·卡根（Michael Kagan）在红杉播客Training Data里回忆，合并完成后他见到黄仁勋，拍胸脯说，一加一会等于十。

「我低估了四倍。」

卡根在半导体行业干了四十多年：先在英特尔做16年，做到首席架构师；25年前联合创办Mellanox；2019年之后，负责定义英伟达的技术方向。这期节目覆盖了从NVLink、BlueField DPU到液冷、气候模拟器的完整版图，核心就一句话：单芯片的摩尔定律快到头了，算力增长换了一条路，把几十万颗芯片连成一台机器来用。

## 摩尔定律两年翻倍，AI要一年10倍

卡根先给了一组对比。传统硅工艺的摩尔定律，性能每两年翻一倍。AI进场之后，模型规模每三个月翻一倍，换算下来，算力需求一年要涨10倍到16倍。

「旧学派是两年翻一倍，现在是一年10倍。」

转折点在2010年、2011年前后。GPU从「图形处理器」变成「通用处理器」，AI工作负载第一次跑上GPU，吃的是它的可编程性和并行能力。从那时起，性能需求的增长系数彻底变了。

麻烦在于，往单颗芯片里塞更多晶体管这条路，物理上已经快走不通了。卡根的原话是，摩尔定律在物理层面「不太跑得动了」。要继续喂饱指数曲线，创新得发生在比单个元件更大的尺度上。

那个更大的尺度，就是网络。红杉在节目介绍里把这件事说得很直白：AI竞赛归根结底是硅的竞赛，比的是从每一单位硅里榨出多少智能。过去是把晶体管往一颗芯片里塞，现在是把成千上万颗芯片连成一张统一的计算网络，铺满整个数据中心。卡根补了一句：性能扩展有很多层，每一层都需要高速、高性能的网络。

## 一块要叉车才搬得动的「GPU」

卡根把算力扩展分成两层。

第一层叫scale up，纵向扩展，把单个计算单元做大。CPU时代的纵向扩展是加晶体管、乱序执行、上多核。GPU时代的答案是NVLink。今天下单买一颗「GPU」，送到家的是一整个机柜。主持人接了一句：大家以为买的是芯片，其实买的是一套系统。卡根的原话更传神：

> 今天的GPU是一台石头那么大的机器，你得用叉车才搬得动。所以在亚马逊上买GPU的人，别奇怪，送来的是一大排机架。

NVLink把72颗GPU连在一起，对外呈现成一颗GPU。这72颗其实是36台计算机，每台装两颗GPU，用线缆织成一台机器。关键在软件：从1颗到72颗，接口不变，CUDA还是那套CUDA，应用感知不到下面拆成了多少块。卡根提醒，这个故事他讲得简化了，但方向准确：硬件、线缆、网络，加上把这一切暴露成CUDA API的软件层，合起来才是今天这颗「GPU」。

第二层叫scale out，横向扩展。纵向扩展做到功耗、成本、效率允许的极限，就把很多个这样的积木块连起来，在应用层面把任务拆成多份并行跑。纵向扩展的本质，是把「内存域」扩大到单颗GPU之外。收购Mellanox之前，NVLink的纵向扩展被锁在单个机柜里，跨出单节点要靠大量软件和网络技术，让多个机柜协同成一台机器。这一块，Mellanox补上了。

## 峰值带宽是虚的，抖动才是命门

把一个任务拆成1000份，分给1000颗GPU，1秒的活1毫秒干完。听起来很美，但拆完之后要通信：分发子任务，汇总结果，每一轮迭代里通信和计算交替出现。

调优过的应用，会把通信藏在计算背后。通信一旦变慢，所有人都在等，整台机器被最慢的那次通信拖住。**所以网络的关键指标，除了峰值带宽，还有延迟分布要足够窄。**

卡根说，把一个比特从A送到B，这是物理问题，各家方案的峰值数字差距不大，「我们稍微好一点，但这不算大优势」。差距在重复几千次之后显形：英伟达的网络每次耗时几乎一样，别家方案的耗时会散开一大片。

散开的代价很直接：为了给网络抖动留余量，本来能拆给1000颗GPU的任务，只能拆给10颗。**网络的抖动，直接决定集群的性能上限。**

所以英伟达看数据中心的眼光变了：10万颗GPU加整套网络，就是一台计算机，架构、软件、硬件全按这个粒度设计。一台这样的机器要重新设计多颗计算芯片和多颗网络芯片，投入量级可想而知。

网络还有面向客户的那一面。数据中心要跑操作系统、服务多个租户，这是BlueField DPU的活。传统计算机里，CPU既要跑应用，又要跑操作系统和网络栈，两件事抢同一颗芯片的时间。一台机器的效率，取决于通用算力里有多少真正花在应用上。BlueField把基础设施计算搬到独立的计算平台上，应用吃满通用算力，安全边界也清晰了。卡根提了差不多十年前的Meltdown侧信道攻击，基础设施和应用挤在同一个CPU上，这类攻击就防不住；分开跑，攻击面大幅缩小。

顺带一个数据：卡根说，英伟达现在的以太网业务是「有史以来增长最快的以太网业务」，这还没算NVLink和InfiniBand。

## 十万卡之后：坏是常态，光速是天花板

Pat Grady问，往10万卡甚至100万卡走，什么东西会先坏？卡根给了两道坎。

第一道是故障率。单个硬件组件的可用性可以做到99.999%以上，一台机器装几个组件，没问题。可10万卡的机器，折算成组件是几百万个，**所有组件同时正常的概率是零**。一定有东西是坏的，硬件和软件都得按「带病运行」设计，还得尽量保住性能和能效。很多工程师设计机器时默认「组件是好的，跑起来再调」，这个直觉在几万卡尺度就失效了。

第二道是光速。工作负载要跨数据中心部署，机房之间可能隔几十公里，甚至跨大陆，不同位置的延迟差异变得巨大，拥塞管理跟着变难。拆分的需求很现实：算力太大，一个园区放不下，电力也不允许。

老电信时代的办法，是在数据中心边缘放一个大缓冲区当减震器。卡根明确反对：「大缓冲区不好，越大越好是错觉，缓冲区本身就是抖动的来源。」跨机房跑同一个任务，每一台机器都得知道自己发出的通信是长是短，动态调整发送模式，从源头避开拥塞。英伟达为此做了Spectrum-X交换机，放在数据中心边缘，把遥测信息喂给端点，让端点自己调。

Pat追问，这是训练特有的问题吗？卡根说，什么都一样，只看规模。他补了一个细节：有时候整个数据中心只跑一个任务，软硬件要一起提供接口，把任务的不同部分摆到最合适的位置。这种网络跟通用数据中心网络完全是两码事。通用网络服务的是松耦合的微服务，各干各的；这里是10万台机器协同跑同一个应用。

## 推理比训练更吃算力，很多人还没转过来

主持人Sonya Huang问，需求是不是正从预训练转向推理。卡根的回答更进一步：推理的算力需求已经追上甚至超过训练，而且差距会继续拉大。

先看训练。卡根拆了训练的三个阶段：前向传播，本质是一次推理；反向传播，调整权重；数据并行训练还要在多份模型副本之间汇总权重更新。直到不久前，训练都是算力的绝对主力。

推理这边，卡根梳理了三次进化。最早是感知式AI，看一张图，说「这是狗」，一次推理结束。然后是生成式AI，每输出一个token，整台机器从头再跑一遍，一篇回答就是几十上百次推理。现在是推理模型，问它一个复杂问题，它要比较多条解题路径，每条路径都是推理。

推理内部还分两段：prefill处理提示词、建立上下文，吃算力；decode一个token一个token往外蹦，吃显存带宽。

为什么推理总量会超过训练？卡根给了两个理由。一是单次推理的算力消耗比感知时代涨了几个量级。二是那笔最简单的账：**模型只训练一次，推理却要做亿万次**。ChatGPT训练一次，几亿用户天天轰它，现在还加上了视频生成。

这里他抖了个包袱：「我妻子发现ChatGPT之后，现在跟它聊天的时间比跟我多，那是她最好的朋友。」

机器形态上，卡根的判断是推理会分层：手机上跑小模型，数据中心跑大的。而在数据中心尺度，**可编程性比硬件定制更划算**。每一种定制硬件都有自己的成本和代价，负载一变就闲置。英伟达已经推出了针对prefill优化的GPU型号，但decode的卡也能干prefill的活，负载结构变了可以互相补位，接口始终是CUDA那一套。卡根说得很直白：正是这套统一接口，成就了收购Mellanox之前的英伟达。

## 数据中心的极限：电、热、混凝土

Pat Grady问了个好问题：芯片密度撞上量子力学，机柜撞上功耗，数据中心有没有类似的定律，大到一定程度会被通信开销压垮？

卡根的回答很实在：实际的限制是给定体积内能喂进多少电。电进来了，热还得出去。英伟达已经整体转向液冷，原因就一个：风冷撑不住现在的计算密度。

他给了一组数字：xAI那种规模的机房是100到150兆瓦，现在大家谈的是吉瓦级，已经有人在谈10吉瓦。部署速度的瓶颈是什么？卡根的原话：「取决于混凝土多久凝固。」

聊到英特尔合作（卡根在英特尔干过16年，做到首席架构师），他的框架是：冯·诺依曼机没有消失，但AI这类问题没法靠「给机器解释步骤」来解决。「我能解释很多事，但我没法解释怎么区分猫和狗。」所以方向是把加速计算融进通用计算，x86仍是主力架构。这笔合作对双方的现实意义，卡根说得直白：给英伟达和英特尔都打开了新的市场通道，去服务之前够不着的客户。

这段话里他顺带交代了英伟达的文化底色：

> 我们的成功，等于客户的成功，等于生态的成功，不靠竞争对手的失败。我们追求的，是给大家烤一张更大的饼。

合并的成色还有一组数字可以验证。Mellanox的另一位创始人Eyal Waldman在收购后几个月就离开了，卡根是唯一留下的创始人。他回忆，收购初期满脑子就一件事，洗澡的时候都在想：怎么让这次收购成功。英伟达为他参与创办的公司付了70亿美元，百感交集，但事已至此，任务就是让它成。结果：85%到90%的以色列老员工留了下来，英伟达在以色列的人数涨了一倍多，现在还要建新园区。卡根说，这桩交易被外界普遍看作科技史上最成功的收购，「回头看，这一步走对了」。

## 一年10倍，还能跑多久

Sonya把问题挑明了：黄仁勋定律是两年翻一倍，加上卡根之后，斜率是多少？她管这个叫「黄仁勋定律加卡根定律」。

卡根：「一年10倍，或者每年几个数量级。」作为参照，摩尔定律折算到一年大约是1.4倍。

支撑这个斜率的动作已经做了两三年：产品节奏从两年一代改成一年一代，每一代性能高一个数量级，而且衡量标准是整台机器的性能，单芯片跑分不算数。

能维持多久？卡根的答案很诚实：「我不知道。但我们会尽全力维持，说不定还要加速。这一切都关于指数。」他提醒，看摩尔定律曲线别用对数坐标，对数坐标把爆炸画成了直线。真实的曲线是这样的：轰一下，一年后，再轰一下。

没人预测得到下一站长什么样。他举了iPhone的例子：2007年第一代iPhone发布，谁能想到17年后，这台机器上用得最少的功能是打电话，剩下的全是电商、短信、新闻、邮件，身份认证也住在里面。卡根的结论是：「我们在做的，是给下一波创新搭平台。」

科幻的部分，卡根想的是让历史变成实验科学。物理可以做实验，历史的时间箭头只有一个方向，但如果有一个足够好的世界模拟器，比如英伟达的Earth 2气候模拟器，就能模拟今天的决策在50年后对全球变暖的影响。再往后，AI擅长观察、归纳、泛化，物理定律本身就是从现象里归纳出来的，「AI能教我们一些我们现在想象不到的物理定律」。

采访结尾，Sonya请他展望AI的未来。卡根接了乔布斯的那个比喻：计算机是「心智的自行车」。

「AI大概是一艘飞船。」

他的账是这么算的：很多事情想做，但时间和资源不够。有了AI，一个人可能干出十倍的活，而想干的事，会变成今天的一百倍。给任何一个项目负责人两倍效率的资源，他会干出四倍的活，然后想要十倍的资源，没人会说「我的人手够了」。电就是这样改变世界的，伦敦街头至今留着煤气灯的底座，当年没人想到电会让整个世界离了它转不动。

「AI也一样。新世界。」

**听完这期，有几件事明天就能用：**

- 选算力基础设施，别只盯峰值带宽数字，追问延迟分布和抖动。长尾决定任务实际能拆多细，也就是集群的真实上限。
- 做AI产品的成本模型，把推理当主变量。训练是一次性投入，推理是持续支出，prefill和decode的资源画像完全不同，规划容量时分开算。
- 写代码别过度绑定某一代硬件。硬件一年换一代，稳定的软件接口才有复利，这是英伟达自己验证过的路径。
- 系统设计默认故障常在。规模上去之后，所有组件同时正常的概率是零，恢复和降级能力要写进架构，别当成异常处理。
- 评估算力需求时用指数视角做预案。两年翻一倍的直觉，会系统性低估未来三年的成本曲线。