群发资讯网

AI 算力竞争正在改变:未来的瓶颈,可能不再只是 GPU

如果有一天,AI 能够连续阅读几百本书,分析大量资料,调用各种工具,甚至独立完成一项复杂工作,那么支撑它运行的计算机,需要具备什么样的能力?
很多人可能会想到:需要更强大的 GPU。
这个答案没有错,但还不够完整。
因为当 AI 开始处理越来越长的上下文、进行更复杂的推理,并且同时服务大量用户时,单纯提高芯片的计算速度,已经无法解决所有问题。
芯片需要不断读取数据,多个处理器需要相互通信,服务器需要消耗大量电力,产生的热量也必须及时排出去。
任何一个环节跟不上,都可能影响整个系统的效率。
这也是为什么,近年来 AI 算力基础设施的竞争,正在从单纯追求 GPU 性能,逐渐转向内存、芯片互连、计算架构和数据中心整体效率的竞争。
这场变化背后,有几个值得普通人理解的技术方向。

一、GPU 计算越来越快,为什么还会出现性能瓶颈?先从一个简单的问题开始。
假设一家工厂拥有100台先进机器,每台机器的加工速度都非常快。但工厂只有一条狭窄的运输通道,原材料无法及时送到生产线上。
结果会怎样?
机器再先进,也只能等着原材料到来。
AI 芯片面临的问题与此类似。
GPU(图形处理器)拥有大量计算单元,可以同时执行大量数学运算。但这些计算单元需要不断从内存中读取数据。
如果数据供应速度跟不上,GPU 就可能出现计算单元空闲、整体效率下降的情况。
在计算机领域,这涉及两个重要概念。
一个叫计算受限(Compute-Bound),意思是处理器本身的计算能力不够,成为性能瓶颈。
另一个叫内存带宽受限(Memory-Bandwidth-Bound),意思是处理器有能力继续计算,但内存传输数据的速度跟不上。
这两种情况并不是互相取代的关系,而是会根据任务不同发生变化。
例如,大模型处理一段很长的输入时,需要进行大量并行计算,这个过程通常更依赖 GPU 的计算能力。
而在很多逐词生成答案的场景中,GPU 每生成一个词元,都需要读取模型参数和相关上下文信息。这时,数据传输速度就可能成为更重要的限制。
因此,AI 算力竞争出现了一个新变化:
过去,人们主要关注 GPU 能算多快;现在,还需要关注它能以多快的速度获得数据。
这也是高带宽内存(High Bandwidth Memory,HBM)越来越重要的原因。
二、HBM4:AI 芯片为什么需要一条更宽的高速公路?HBM 可以理解为专门为高性能计算设计的高速内存。
它与普通内存的一个重要区别,是采用多层 DRAM 芯片垂直堆叠的设计,并通过大量连接通道与处理器交换数据。
可以把普通内存想象成一条公路,而 HBM 更像是一条拥有大量车道的高速公路。
它的优势不只是速度快,还能够同时传输大量数据。
HBM 的制造也并不简单。
多层内存芯片需要通过硅通孔(Through-Silicon Via,TSV)等技术实现垂直连接,再通过先进封装与 GPU 紧密集成。
这些工艺对制造精度、良率、散热和封装能力都有很高要求。
因此,HBM 不仅是内存产业的竞争,也是先进半导体制造和封装能力的竞争。
从 H200 到 Blackwell,再到 Rubin,NVIDIA 的硬件路线图体现出内存容量和带宽持续提升的趋势。
以代表性规格为例:
GPU
显存容量
显存带宽
H200
141GB HBM3e
4.8TB/s
B200
192GB HBM3e
约8TB/s
Rubin
288GB HBM4
约19.2TB/s(现行产品规格)
需要说明,NVIDIA 早期技术介绍曾公布 Rubin GPU 最高22TB/s的带宽指标,而后续产品规格资料列出了19.2TB/s。两者属于不同阶段的公开规格口径,不宜直接混用。
为什么这些数字重要?
因为 AI 模型越来越大,需要占用更多显存。
假设一个模型有4000亿个参数,每个参数使用4 bit存储,那么理论上的权重空间为:
4000亿 × 4 bit ÷ 8 = 200GB。
这意味着,拥有288GB HBM4的 GPU,理论上可以容纳这样一个模型的权重。
但这不代表它就能轻松完成所有推理任务。
模型运行还需要存储上下文缓存、计算过程中的临时数据和其他运行时信息。实际占用空间也会受到量化方法、模型结构和软件实现的影响。
这里还需要认识一个重要概念:KV Cache,也就是键值缓存。
大语言模型在处理文本时,会计算并保存一些中间信息。当它继续生成答案时,可以重复利用这些信息,而不必每次重新处理之前的全部内容。
例如,你让 AI 阅读一本书,然后写一篇报告。它在阅读过程中保存的部分计算结果,就可以帮助后续生成答案。
但是,输入内容越长,模型规模越大,KV Cache 通常也会占用更多内存。
所以,HBM 的作用不仅是让模型装得下,还要让 GPU 能够及时读取模型参数和上下文数据。
未来,如果更多大型模型能够在单张 GPU 上完成权重存储,就有机会减少部分跨 GPU 通信开销。
不过,是否真的能降低推理成本,还取决于模型运行速度、并发用户数量、上下文长度和实际部署方式。

三、Prefill 和 Decode:为什么 AI 推理开始讲究专业分工?HBM 解决的是数据供应问题。
但 AI 推理还有另一个值得关注的变化:不同阶段的工作特点并不相同。
大语言模型生成答案,大致可以分为两个阶段:预填充(Prefill)和解码(Decode)。
假设你给 AI 上传一本几百页的书,让它阅读后回答问题。
Prefill 阶段:处理用户输入。
AI 需要对输入内容进行计算,建立后续生成答案所需要的上下文信息。
输入越长,需要处理的数据通常越多。
这个阶段能够利用大量并行计算,因此通常比较依赖 GPU 的计算能力。
Decode 阶段:逐步生成答案。
当输入处理完成后,AI 开始生成回答。
它并不是一次性把整篇文章写出来,而是逐个预测下一个词元,再继续预测后面的词元。
例如:
今天 → 天气 → 很好 → 我们 → 出去 → 走走。
每生成一个新词元,模型都需要进行新一轮计算,并读取相关的模型参数和上下文信息。
在很多小批量推理场景中,这个过程更容易受到内存带宽和响应延迟的限制。
两种任务的资源需求不同,就带来了一个问题:
能不能让它们分别使用最适合自己的计算资源?
这就是预填充与解码解耦(Prefill-Decode Disaggregation)的基本思路。
例如,一家 AI 服务公司同时接收大量用户请求。
有些用户上传了很长的文档,系统需要花费大量计算资源处理输入;另一些用户已经进入答案生成阶段,希望 AI 尽可能快速地回复。
如果所有任务都由同一组计算资源承担,就可能出现资源竞争。
将两个阶段分开调度,可以让服务商根据实际需求,独立配置计算资源,减少不同任务之间的相互影响。
需要注意,解耦不意味着必须使用不同品牌的芯片。即使全部使用 GPU,也可以通过不同计算节点实现 Prefill 和 Decode 的分离。
而 NVIDIA 与 Groq 的合作,则进一步展示了另一种思路:让不同架构的芯片共同承担推理任务。
Groq 开发的 LPU(Language Processing Unit,语言处理单元),是一种专门面向大语言模型推理设计的处理器。
它与传统 GPU 的设计思路有所不同,特别强调计算流程的确定性和低延迟执行。
其中一个重要特点,是大量使用片上 SRAM(静态随机存取存储器)。
SRAM 可以直接集成在芯片内部,访问速度快,但存储密度相对较低,单位容量成本也更高。
因此,它不适合简单替代 HBM,而更适合存储需要高速访问的数据。
可以这样理解:
HBM 像一个容量较大的高速仓库,负责存放大量模型数据;SRAM 则像生产线旁边的小型工作台,存放当前最需要快速使用的材料。
NVIDIA 在2026年公布的 Groq 3 LPX 方案,采用了256颗互连的 LPU,每颗芯片配备500MB SRAM。
整个机柜拥有128GB SRAM,厂商公布的聚合 SRAM 带宽达到40PB/s,机柜内部扩展互连带宽达到640TB/s。
这些数字是机柜级指标,不代表单颗芯片拥有同样的带宽。
更重要的是,它并不是让 Rubin GPU 完全退出解码阶段。
根据 NVIDIA 公布的架构,Rubin GPU 继续承担 Prefill 和 Decode 中的注意力计算,而 LPX 中的 LPU 则协助执行对延迟敏感的 FFN 和 MoE 专家计算。
两者通过协同工作,提高大型模型的推理效率。
NVIDIA 宣称,在特定万亿参数模型工作负载下,Vera Rubin 与 LPX 配合能够实现每兆瓦最高35倍的推理吞吐量提升。
这属于厂商公布的特定场景性能指标,并不意味着所有 AI 应用都能获得35倍的速度提升。
这项技术真正值得关注的地方,是它展示了 AI 硬件发展的一个方向:
未来的数据中心可能不再依赖一种芯片完成所有任务,而是让不同类型的处理器各自发挥优势。
四、AI 芯片越来越强,散热为什么成了大问题?计算能力提升,还有一个绕不开的问题:功耗和散热。
我们平时使用电脑,CPU 和 GPU 发热后,可以通过散热器和风扇把热量带走。
但 AI 数据中心完全不同。
一台服务器可能安装多张高功耗 GPU,一个机柜又可能容纳大量服务器。
设备越来越密集,产生的热量也越来越集中。
如果热量无法及时排出,芯片就可能因为温度过高而降低运行频率,甚至出现稳定性问题。
这就是为什么液冷技术越来越受到重视。
目前值得关注的方案主要有三类。
冷板液冷:让冷却液直接靠近芯片工作。
它会在芯片上安装金属冷板,冷却液在内部通道流动,把芯片产生的热量带走。
可以把它理解成给芯片安装了一套贴身的水冷系统。
微通道冷却:进一步提高换热效率。
它在冷板内部设计更加细小的流道,让冷却液能够更有效地带走局部热量。
这种技术特别适合研究高热流密度芯片的散热问题。
两相浸没式冷却:利用液体汽化吸收热量。
这种方案使用特定的绝缘冷却介质。
液体吸收热量后汽化,蒸汽再经过冷凝系统重新变成液体,形成循环。
它利用的是汽化潜热,也就是液体变成气体时吸收的大量热量。
不过,两相冷却并不是简单地把服务器泡进一桶液体里。它还需要专门的密封结构、冷凝系统、冷却介质和流体控制设备。
而且,芯片附近的散热只是整个问题的一部分。
热量从芯片传递到冷却液之后,还需要通过换热器、冷却塔或干冷器等设备,最终排放到外部环境。
这意味着数据中心需要考虑的是一整套热管理系统,而不是只安装一块液冷板。
另一个相关指标叫 PUE(Power Usage Effectiveness,电能使用效率)。
计算方式是:
PUE = 数据中心总能耗 ÷ IT设备能耗。
例如,PUE为1.2,意味着 IT 设备每消耗1度电,整个数据中心总共消耗1.2度电。
PUE越接近1,说明用于制冷、配电损耗等非 IT 设备的额外能耗越少。
但它并不能单独说明数据中心是否真正节能,还需要考虑计算任务的实际效率、能源来源和设备利用率。
为什么这些技术会带动其他产业?
因为计算密度越高,数据中心就需要更强的供电能力、更高效的热管理,以及更高速的设备互连。
因此,AI 基础设施的建设不仅涉及 GPU 和内存,也会增加对电源、变压器、配电设备、液冷系统和光通信设备的需求。
不过,具体哪些企业能够从中获得收益,还要看技术竞争力、订单、成本和商业化能力,不能把行业需求增长直接等同于企业利润增长。

五、AI 开始帮助量子计算:它不只是人工智能的竞争除了传统半导体,AI 还在帮助另一个前沿领域解决工程难题:量子计算。
普通计算机使用比特(Bit)表示信息,基本状态是0和1。
量子计算机使用量子比特(Qubit),能够利用量子叠加、量子纠缠等现象执行计算。
它在某些特定问题上具有潜在优势,但距离广泛实用仍然存在很多困难。
其中一个重要问题就是量子纠错。
量子比特非常脆弱,容易受到外界环境干扰,导致计算过程出现错误。
如果量子计算机想要执行复杂、长时间的计算,就必须具备可靠的纠错能力。
以表面码(Surface Code)为例,系统会反复测量辅助量子比特,获得一组错误信号,称为错误综合征(Syndrome)。
这些信号并不会直接告诉研究人员哪个量子比特出了问题。
它们更像是一组需要解读的线索。
解码器需要分析这些线索,推断最可能发生的错误模式,再决定应该采取什么纠错操作。
这时,AI 就有了发挥作用的空间。
Google DeepMind 开发的 AlphaQubit 系列,正是利用机器学习帮助处理量子纠错解码问题。
2025年12月提交的 AlphaQubit 2 研究进一步展示了神经网络解码器在表面码和色码上的表现。
研究人员报告称,在距离11的表面码实验中,它能够在当前商业加速器上实现每个纠错周期低于1微秒的实时解码,并在特定测试中取得优于领先实时解码器的准确性。
这是一项重要的研究进展,但它不意味着量子计算机已经解决了全部纠错问题。
因为量子纠错包含多个环节:纠错码设计、辅助测量、错误解码、物理纠错操作,以及整个系统的长期稳定运行。
AI 解码器只是其中的一部分。
2026年4月,NVIDIA 也发布了 Ising 开放模型系列,主要面向量子处理器校准和纠错解码。
其中,校准模型帮助研究人员寻找合适的量子设备运行参数;解码模型则帮助分析量子计算过程中的错误信号。
NVIDIA 公布的测试结果显示,Ising 在特定纠错解码任务中,相较其采用的传统方法,最高实现2.5倍速度提升和3倍准确性提升。
这说明 AI 不仅可以成为量子计算的潜在应用工具,也可以帮助科学家建设和维护量子计算设备。
不过,距离真正实用的容错量子计算机,仍然有很多工程难题需要解决。
六、未来真正重要的,可能是每一次有效计算的成本把前面几个技术放在一起,我们会发现 AI 算力竞争正在发生一个很有意思的变化。
过去,人们谈论 AI 竞争,往往关注谁拥有更强大的 GPU,谁能训练更大的模型。
现在,竞争的范围正在扩大。
GPU 决定计算能力,HBM 决定大量数据能否及时供应,SRAM 为特定计算任务提供高速存储,不同处理器之间的互连决定协同效率,而供电和散热系统决定整个数据中心能否长期稳定运行。
这些技术不是彼此独立的。
它们共同决定了一个 AI 系统能够以多大的规模、多少成本和多快的速度提供服务。
这也让 AI 产业出现了一个值得关注的变化:未来的竞争优势,可能越来越取决于整个系统的设计和运营能力,而不只是某一颗芯片的性能。
还有一个问题值得思考。
假设未来某个 AI 模型的智能水平提高了10倍,但运行成本只降低了2倍。
另一个模型的智能水平只提高了3倍,但运行成本降低了20倍。
哪一种更可能推动 AI 进入普通人的生活?
这并没有绝对答案。
如果某项任务对智能水平要求极高,那么模型能力的提升可能更重要;但如果 AI 要每天处理大量普通工作,成本、速度和稳定性就可能成为更直接的决定因素。
例如,一个企业想让 AI 每天处理数十万份文件、回答大量客户问题,或者让 Agent 连续执行复杂任务。
在这些场景中,模型是否足够聪明固然重要,但每完成一次任务需要多少计算资源、多少电力和多少时间,同样会影响企业是否愿意长期使用。
所以,理解 AI 的未来,不能只看模型参数有多大、GPU 有多强。
还需要关注一个更实际的问题:
用多大的资源,能够持续完成多少真正有价值的工作。
这可能才是下一阶段 AI 算力基础设施竞争最值得关注的方向。