上一篇在晶圆厂里，把芯片怎么一层层造出来讲完了。造得出来，只是及格线。

这一篇把镜头拉到市场上：同样一颗推理芯片，NVIDIA 卖板卡，Google 卖云，Meta 自己用，Groq 卖一整套特殊系统。它们跑的不是同一场比赛。

先看清这几条路线各自靠什么活，后面才有尺子去量国产。

一、别把它们放进同一张 TOPS 表

图｜国际路线的四类打法：通用 GPU、云自研 ASIC、内部专用芯片、激进架构

把 NVIDIA、Google TPU、AWS Inferentia、Meta MTIA、Groq、Cerebras 排进一张 TOPS 榜，结论基本是错的。

问题不在参数，在生意模式。NVIDIA 和 AMD 要把通用加速器卖给外部客户；Google 和 AWS 能把自研芯片直接变成云服务；Meta 的 MTIA 主要服务自己的推荐和推理；Groq、Cerebras 用更激进的架构去换某类推理优势。

一句话：有人卖芯片，有人卖实例，有人只给自己用，有人卖一整套特殊系统。评判标准自然不一样。

八条路线摆在一起，差别比参数清楚得多。

表 1 · 八条路线，八种难处，一列参数都放不进去

这张表里没有一列是 TOPS。它不重要吗？重要。但它单独说明不了任何事。

二、先定尺子：六个固定，七项指标

图｜七项判断尺：负载、生态、集群、SLA、TCO，参数表只是入口

跨路线比较，第一件事是把发布会参数拉回生产现场。

固定六件事：模型 / 精度 / 输入输出长度 / 并发 / SLA / 软件版本

模型不同没法比。参数量、是不是 MoE、上下文多长、Attention 怎么实现，压力都不一样。精度也得钉死，FP16、FP8、INT8、INT4 是四种不同重量的货，搬起来不是一个难度。

输入长度决定 Prefill 有多重，输出长度决定 Decode 要跑多少轮，并发决定权重能不能摊薄。这三项一旦不同，token/s 的差值就没有意义。

服务质量的四个数是标配：TTFT，用户等第一个字出来多久；ITL，后面每个字之间隔多久；P95/P99，最慢那批请求有多慢；还有错误率。只报平均 token/s，等于把线上体验藏起来。

可交付产出 = 满足 SLA 的 goodput，而不是排队堆出来的 token/s

软件版本同样要固定。同一块芯片换一个编译器、一个内核、一个 Serving 版本，数字就能变一截。没写驱动、框架、量化、内核版本的成绩，证据强度有限。

七项指标要一起过关：负载够不够大、够不够稳；芯片的矩阵、内存、互联、功耗和负载配不配；软件能不能让新模型及时上线、关键算子够不够快、出问题能不能定位；单卡、多卡、机架、集群扩起来还稳不稳；HBM、封装、服务器、云区域、运维能不能持续拿到；有没有同模型、同精度、同 SLA 的独立或可复现实测；省下来的钱够不够覆盖 NRE、软件团队、闲置和迁移。

任何一项归零，整条路线就可能失效。峰值很高但没有稳定负载，NRE 摊不薄；硬件配得上，软件却晚半年支持新模型，业务还是回到通用 GPU；单机快但供不上货，收入起不来。

还有一层要分清。云厂和平台手里有自己的请求，芯片能力可以直接变成云实例、搜索、推荐、广告或者模型服务的成本下降。外售芯片的公司得说服客户改框架、重测模型、改运维流程，还要扛住需求分散带来的支持成本。前者难在内部负载够不够稳，后者难在生态能否覆盖长尾模型。两条路都能成，但不能用同一张销量表判断。

三、NVIDIA：强的是整套闭环

图｜NVIDIA 的闭环：硬件、软件、开发者、交付，四层叠起来才是系统优势

NVIDIA 的强，不在某颗 GPU 峰值高。CUDA、通信库、TensorRT-LLM、服务器、网络、交付能力连成一条线，客户买到的是一套迁移阻力最小的生产工具链。

拆成五层。

通用 GPU。它不只跑大矩阵，也扛得住动态形状、长尾算子和一直在变的模型。

带宽路径。HBM、NVLink、NVLink Switch，从单卡到多卡再到机架级，有一整条扩展路。

软件。CUDA、cuBLAS、NCCL 和一堆工具。研究者通常先在 CUDA 上开发，新模型、新算子也就先在这里被优化。

推理栈。TensorRT-LLM、Triton 和推理服务器把量化、Paged KV、连续批处理、P/D 解耦、多卡并行装进同一个体系。

交付。板卡、服务器、机架、网络、云实例都有成熟渠道和运维经验。

这五层叠起来才是系统优势。单颗竞争芯片峰值接近，也替代不了整套系统。

具体到一次上线：CUDA 图捕获、cuBLAS 与 CUTLASS 内核、NCCL 通信、TensorRT-LLM 图优化、KV 管理、Triton 服务接口，能沿着同一条技术支持链排查。优势来自这些接口已经被大量框架和工程团队用熟，不是说所有模型都能天然跑到峰值。

短板也在同一处。通用性不是免费的：要覆盖训练、推理、科学计算和长尾场景，芯片面积、功耗、软件投入都很高。对长期稳定的内部负载，专用 ASIC 有机会砍掉用不上的能力，把成本压下去。

供给是第二个风险。高端 HBM、先进封装、高速互联、高功率机柜，任何一环紧张，客户都在承担集中风险。

第三个风险是锁定。CUDA 越强，迁移越贵：要换的不是一张卡，是框架、算子、调优脚本、容器、监控和排障方法。

所以它的改进不会只靠下一代晶体管，而要靠低精度、MoE、KV 管理、P/D 解耦、机架互联和软件更新一起推。要守住的不是某个 TOPS 数字，是新模型出来以后，整套栈仍然最先可用、最稳。

四、Google TPU：先有负载，才有架构

图｜云 ASIC 的闭环：自有负载、编译器、集群、云服务，客户买的是服务

TPU 的逻辑是倒过来的：先有内部稳定负载，再围绕这些负载做专用架构。

早期 TPU 就是为数据中心推理设计的，靠矩阵单元、片上存储和确定性执行，把内部模型的性能与能效拉上去。后来扩到训练和大模型，Ironwood/TPU7x 这一代又强化 HBM、低精度、SparseCore、双 chiplet 和超大 Pod，明确往 sampling 和 decode 偏重的推理上压。

能走这条路，不是因为脉动阵列多神秘，是它同时握着五样东西：搜索、推荐、广告和大模型的真实请求；模型团队和数据中心；XLA、JAX 和 PyTorch 接口；芯片、网络和拓扑；还有 Google Cloud 这个商业出口。芯片不用先进零售渠道，客户租 TPU，硬件能力就变成收入。

看 v4 那一代的设计逻辑就很清楚：矩阵单元扛主计算，向量单元处理长尾，片上存储减少远端访问，HBM 给大带宽。系统层面，4096 颗芯片不是简单堆着，而是通过电连接、光电转换和光路交换组成可重构拓扑。它的优势单位一直是“芯片、内存、互联、调度”组成的系统，不是单颗矩阵阵列。

短板也有。最佳体验和 Google 自己的软件、云、拓扑绑在一起；在 CUDA 上磨了很多年的模型搬过来，算子、布局、切分、通信都要重做。超大 Pod 的理论规模，不等于每个客户都能拿到同等容量和效率。

Ironwood 双 chiplet 各有独立内存空间，制造上更灵活，代价是软件得显式管片间通信。这是拿可制造性换软件复杂度，不是白捡的增益。

要往前走，得降 PyTorch 和主流 Serving 的迁移门槛，公开更多同模型、同 SLA、同云成本的结果，把拓扑优化从少数专家的手艺变成标准工具。

五、AWS 与 Meta：把芯片直接变成自己的用法

这两家有个共同点：芯片不用先说服外部客户，先服务自己。

AWS 的路很清楚。Inferentia 出硬件，Neuron 编译和运行模型，Inf2 把整套包成按小时租的实例。客户不用买板卡和服务器，在同一个 AWS 环境里就能比较成本和性能。

它不需要“裸芯片全面打赢 GPU”。只要几个主流模型在给定延迟下，每小时能交付更多有效 token，客户就有迁移动机。实例规格能把主机 CPU、网络、芯片数量、价格一起打包，这比单卖一张 PCIe 卡更容易控制比较口径。

代价是客户要进 Neuron 生态：模型编不过去怎么办，长尾算子快不快，报错好不好查，新版本稳不稳。性能优势还和 AWS 的实例价格、区域供给绑着，跨云搬不动。

Meta 走得更窄。第一代 MTIA 针对推荐推理，PE 阵列、片上 SRAM、RISC-V 控制核，配 PyTorch 和 LLVM 软件栈，服务自家最贵、最稳的那部分负载。

这条路不需要满足所有外部客户。覆盖住内部最贵的计算，成本节约就很可观。官方披露的数十万颗内部推理部署，比任何峰值参数都更有说服力。

它的闭环和 Google、AWS 也不一样：不急着把 MTIA 变成公有云的一个 SKU，先替换内部推荐、广告和生成式 AI 里的高频部分。内部模型、机架、编译器、容量规划可以一起改，牺牲外部通用性，换来不必兼容那么多组合。

风险是负载换了。推荐模型和生成式大模型不是一种活：后者要更大的 HBM、更长的上下文、更复杂的 MoE 和多卡通信。MTIA 450/500 往 GenAI 推理走这条线，得靠真实生产数据验证。

内部成功也不等于开放市场成功。它还没证明外部客户能拿到同样的软件支持、供货和服务。

六、AMD：硬件追上来以后，慢的是软件

AMD 的机会来自通用替代。客户本来就想找第二供应源，也不想被单一生态锁死。但换 AI 加速器不是换硬件，慢的是算子、框架、调优经验和客户验证。

MI350 系列给大容量 HBM3E、高带宽和更低的精度路径，对大模型和长上下文友好。它还是通用 GPU 路线：同一套硬件能跑训练也能跑推理，不必押注窄 ASIC。

ROCm 这几年在补 PyTorch、vLLM、SGLang、DeepEP 和分布式推理，开源程度高，云厂和框架方也愿意一起改。

它的价值，是给客户一个 NVIDIA 之外的通用选择。大显存能减轻模型切分，也给长上下文留更多 KV 空间；开放软件让客户自己就能检查和改造。

但能不能真替代，最后还是看三件事：目标模型的算子覆盖、通信扩展、长期版本稳定。

CUDA 攒下的不只是 API，是开发者习惯、手写内核、调试工具、版本经验和生产运维。显存和带宽接近，不代表这些差距一夜消失。新模型能跑只是入场券，关键算子快不快、MoE 扩不扩得开、错误查不查得到，才决定客户敢不敢迁。

七、Groq、Cerebras、Gaudi：三种换法，三种代价

这三家不在同一条线上，但都是拿一个维度去换另一个维度。

Groq 换的是确定性。它把执行路径在编译期就排好，减少 GPU 里动态调度和缓存不确定性带来的延迟抖动。对结构稳定、能编译的生成负载，确定性执行有机会换来更高的单用户速度和更可预测的延迟。

代价压在编译器上。模型算子、动态形状、上下文一变，压力全转到编译环节。大模型权重、KV、外部内存、多芯片扩展怎么承载，也要看真实服务才知道。低并发单用户速度很快，不等于高并发 goodput，更不等于每百万 token 成本最低。

Cerebras 换的是边界。它把大量计算和片上存储放进晶圆级引擎，少切几块芯片，就少一些跨封装通信。某些大模型推理可以因此更快，集群切分也简单些。

代价集中在别处：晶圆级制造、系统供货、特殊编译、客户迁移，每一条都是硬门槛。它的推理服务速度不能直接和一张 GPU 卡比，系统形态、并发、价格都不是一回事。

Gaudi 换的是网络。它强调标准以太网扩展，想用通用网络把专有互联的采购与扩展成本降下来。这个逻辑本身成立。

但芯片市场不只看网络。算子生态、Serving、新模型支持、产品路线连续性、云上能不能拿到、客户规模够不够，一起决定它能不能转起来。开放以太网是一个优势，不是完整答案。

八、失败通常长什么样

图｜成败条件：好路线看负载和软件，难路线只剩峰值

路线失败很少表现为“芯片完全跑不起来”。更常见的是这几种：

有芯片，但没有稳定高频的负载；有峰值，但没有满足 SLA 的 goodput；有框架接口，但没有高效的长尾算子；有回片，但没有 HBM、封装和稳定量产；有单机成绩，但没有多机扩展和故障恢复；有厂商自测，没有独立复现；有产品，但没有足够产量摊薄研发；模型变了，硬件和编译器跟不上。

八条国际路线看着很不一样，瓶颈却很像：HBM 供应、先进封装产能、集群网络、软件迁移、功耗散热、单位 token 成本。

突破的顺序也差不多：先锁住稳定负载，再让软件和芯片一起优化；然后解决 HBM、封装、供电、网络；最后才用规模部署证明单位经济性。

顺序反过来，就会出现一颗参数领先的芯片，却没有足够模型、产能或客户来用它。

九、结论

“做得不错”至少得五件事同时成立：有明确负载，有可用软件，有量产或大规模部署，有同口径的性能证据，有说得清的经济闭环。

NVIDIA 强在开放市场的全栈与交付；Google、AWS、Meta 强在手里有内部负载和基础设施；AMD 的机会在通用替代和开放软件；Groq、Cerebras、Gaudi 得用更广的生产证据证明差异化路线能成规模。

这几条路线给出的判断习惯很简单：看到一颗芯片，先问它服务谁、谁来维护软件、能扩到多大规模、按什么价卖、省下的钱算不算得过账。

参数表是入口，不是结论。