上一篇看的是国际路线。结论不复杂：真正值钱的是整套闭环，芯片、软件、集群、负载、客户迁移咬在一起。

这一篇把同一把尺子放回国内。问题不是“有没有国产推理芯片”，是“走到了哪一层”。

一次适配成功，离客户把生产流量切过去，中间还隔着好几道门。

一、先看清自己在第几层

图｜国产路线图：点亮、适配、精度对齐、性能达标、生产替代，一级一级往上

国产推理芯片的进展，最像爬楼。第一层是芯片点亮，第二层是板卡能跑，第三层是服务器稳定，第四层是集群能扩，第五层是软件栈成熟，第六层是真实客户负载长期运行。

站在第一层，不能宣布自己到了第六层。这话听着像常识，讨论里天天被违反。

几个词先分清。点亮，是芯片或板卡能上电、跑通基础测试。适配，是模型能在某套软硬件上跑起来。精度对齐，是输出质量没有明显掉。切流量，是真实用户请求开始从旧系统往新系统上走。生产替代，是长期稳定、出错能恢复、版本能升级、成本算得过来。

还有一条：一则“某国产芯片完成某大模型适配”的新闻，最多证明这条路走通了其中一段。它证明不了延迟、吞吐、故障恢复，也证明不了单位 token 成本。

二、六层门槛，一层都不能跳

图｜六层验证里的硬件五级：芯片、板卡、服务器、集群、真实负载

把上面那栋楼拆成能验收的关卡，是六层：芯片、板卡、服务器、集群、软件、真实负载。软件那层单开一节讲，因为它的复杂度经常被低估。

表 1 · 六层的验收入口，逐层过关，不能跳着宣布

每层都有自己的进入条件。芯片层出现偶发计算错误，软件层再怎么优化也补不回来。板卡供电和散热不稳，一次 benchmark 能过，连续跑就降频。集群层没有故障域和自动恢复，一张卡挂掉会拖垮一整组请求。

所以“通过”得写出条件来。只写一句“已适配”，没有模型、精度、长度分布、SLA 和跑多久，信息量接近于零。

顺带两个会被跳过的词。NUMA 指多颗 CPU 访问不同内存位置的距离不一样，排布错了，带宽先吃亏。BMC 是服务器的管理控制器，远程开关机、监控和故障管理都靠它，它不稳，集群就没法无人值守。

三、兼容不是一个词，是五级验收

图｜兼容性的五个等级：API、模型、精度、性能、生产，越往后越接近真实价值

API 兼容解决调用方式，模型兼容解决能不能加载，精度兼容解决结果对不对，性能兼容解决慢不慢，生产兼容解决扛不扛得住真实流量。

很多“已经适配”停在第二级或者第三级。要谈替代，得看第五级。

还有一项常被漏掉：运维兼容。现有告警、日志、profiling、容器镜像、灰度发布、回滚流程还能不能用。迁移的真实成本往往不在改一行 API，在生产团队得重新学怎么发现显存泄漏、链路错误、算子回退和尾延迟抖动。

严格的验收要四类回归。精度回归，固定一批 prompts 和任务集，比量化前后的答案质量。性能回归，记 TTFT、ITL、P95/P99、吞吐和功耗。稳定性回归，连续跑并注入取消、超长输入、worker 重启、链路错误。成本回归，把服务器折旧、功耗、运维、失败重试都算回单位 token。

四类回归缺一项，“适配成功”就还是工程进度。

四、软件栈比一个驱动复杂得多

图｜国产软件栈的分层：驱动与运行时、编译器、通信库、Serving、运维工具

软件栈从驱动一路连到框架、编译器、算子库、推理服务、监控和运维。用户迁移时真正撞上的，多半是“原来的模型、代码、工具链和排障经验能不能搬过去”。

链路长这样：PyTorch、Paddle、MindSpore，图捕获与模型转换，编译器和 IR，算子与内核库，通信库，vLLM、SGLang、MindIE 这类 Serving，最后是容器、调度、监控和故障处理。

任一层不完整，问题都会传到生产。模型能识别，只说明结构被读懂了。某个 Attention 没融合，吞吐就低。单卡算子快但通信库扩展差，多卡就掉速。Serving 能启动，但 KV 抢占和 P/D 解耦不成熟，高负载就出错。驱动能跑，但版本组合不稳，客户不敢升级。

成熟度可以用三个时间量。

新模型发布 → 能运行 → 关键算子高效 → 生产版本稳定

第一段靠模型转换和缺失算子补齐，第二段要做融合、布局、量化和通信，第三段还得过压测、故障注入和版本回归。只公布第一段，等于系统性高估生态成熟度。

换成日常说法：国产替代不是拔一张卡插另一张卡，是把生产线上的设备换掉一部分。模型文件能打开，只说明第一道门开了；算子跑得快，设备才开始干活；多机稳定扩展、出错能定位、版本能回滚，这条线才敢接真实订单。

五、昇腾：公开材料覆盖的层级比较多

评价昇腾，不能只看单卡，也不能只看一篇适配新闻。要看 CANN、加速库、CloudMatrix、vLLM-Ascend、服务器和集群实践能不能连成生产闭环。

按公开材料衡量，它是国产路线里比较接近系统闭环的一类。芯片之外还有 Atlas 系统、CANN 编译与算子栈、HCCL 通信、MindIE 推理引擎、vLLM-Ascend 和集群方案。

CANN 是把模型送上芯片的软件入口。公开接口覆盖了 MLA、PagedAttention、量化 KV 这些大模型关键路径，说明优化已经进到具体算子，不只是“能跑 PyTorch”。CloudMatrix 的公开研究把 Prefill、Decode、cache 和网络放在同一个系统里优化。

这两件事的意义在于：软件开始解决大模型推理的真实痛点，而不只是给开发者一个通用框架入口。但它能证明的是系统研究路径，不能自动推出某个商用集群已经达到同样的 SLA 和成本。论文证据和商用版本得分开看。

做得不错的地方有四个：芯片、服务器、网络、软件团队一起推；政企、运营商、云部署能提供真实反馈；能围绕 DeepSeek 这类国产模型做算子、并行、Serving 的专项优化；vLLM-Ascend 和开放接口有机会把定制交付慢慢变成标准生态。

不够好的地方也有四个。驱动、CANN、框架、Serving、模型版本之间耦合还比较强，一个组件升级，其他层要重新验证。长尾算子、动态形状、错误诊断、开发工具体验，还要持续被外部开发者折腾。大集群更难，网络拥塞、设备故障、拓扑、尾延迟，不会因为单卡强就自动消失。先进制程、内存、封装和交换能力，仍然卡着系统供给。

往前走的办法不复杂：把代码送回上游社区，公开版本兼容矩阵和可复现实验，把模型、Serving、网络、故障一起纳入 benchmark，让部署从项目型专项优化变成标准产品。

六、寒武纪与昆仑芯：一个有产品体系，一个有真实负载

寒武纪长期做 MLU 架构，也提供板卡、MLU-Link 和 MagicMind 软件栈。优势是专用 AI 芯片、编译器、整机生态的长期积累；作为上市公司，研发、收入和客户风险可以通过法定披露跟踪。

但四件事必须分开：产品规格，与某款模型的实测；单卡销售，与集群部署；总收入增长，与大模型推理收入；客户验证，与市场猜测的供应关系。

公开年报里能看到云端和边缘芯片、板卡、整机、处理器 IP 与软件组成的产品体系，也能看到 Fabless 模式下 IP、服务器、晶圆制造、封装测试的供应链风险。这些证明的是“芯片到系统”的布局和风险边界，证明不了某一家模型公司的订单，也不构成任何供应链确认或投资建议。

它下一步要给的，是长上下文、MoE、P/D 解耦、多卡扩展和单位 token 成本的公开数据，还有持续供货与客户复购。

昆仑芯的底子不一样。它从百度搜索、推荐和 AI 业务里长出来，跟飞桨协同了很多年。P800 公开对 DeepSeek-V3/R1 做过训练与推理适配，给了量化和服务启动流程；信通院的适配测试显示模型可运行、精度对齐、支持长上下文。

路线优势很实在：有百度内部负载，有飞桨这个框架入口，有工程反馈机制。

边界也清楚。适配通过不等于同 SLA 下成本领先。一键部署降低的是安装门槛，不代表所有关键算子都调优好了。百度内部环境和外部客户的服务器、网络、运维不是一回事。

七、通用 GPU 那几家：路径讲得清，证据还薄

海光 DCU 走的是更接近通用 GPU 的软件路径，和国内框架做了适配。价值在于降低现有 GPU 工作负载的迁移成本，同时覆盖训练和推理，不把自己限定成窄 ASIC。

但兼容的名字不能代替性能。API 相似不等于 CUDA 内核能直接跑。模型跑得快不快，还是看编译器、算子、通信和 Serving。通用能力要占面积和功耗，得靠更广的负载摊薄。

公开材料主要证明框架和安装支持，推不出它和 CUDA 的兼容深度，也推不出端到端性能。支持文档是生态入口，不是性能报告。

沐曦公开了曦云 C 系列、MetaXLink 和 MXMACA 软件栈，支持多种框架和推理工具。从硬件、互联到软件都走通用 GPU，迁移逻辑相对好解释。

要验证的还是那几件事：关键算子快不快，vLLM 版本稳不稳，精度长期对不对齐，多卡怎么扩，驱动和容器怎么运维，供货能不能持续。“全栈”是产品范围，不是生产结果。

有意思的是它自己的发布说明。vLLM 版本、W8A8、分离式推理这些新增能力列出来了，同一份材料里也列了部分模型的精度波动、性能回退、通信限制、server hang 和临时规避方式。把能力和已知限制写在一起，比一句“全面兼容”更接近真实的软件工程。

摩尔线程以通用 GPU 和 MUSA 软件栈为核心，MTT S4000 公开了显存、带宽和大模型适配能力。潜在优势是图形与计算协同、通用编程、能覆盖更广的负载。

难点是差距本身。成熟 CUDA 工具、内核和运维经验不是一年能追上的；高端板卡、服务器、集群要稳定交付；性能兼容得用同模型、同精度、同 SLA 的数据证明，光证明模型能启动不够。

壁仞的 BR100 在公开会议材料里展示了通用 GPU、HBM 和片间互联的设计，架构目标是清楚的。

但架构目标和生产状态是两回事。会议资料证明不了当前的量产规模、供给、客户部署和单位 token 成本。旧参数不能无限期替代当前证据，从会议材料走到生产应用，中间隔着板卡、驱动、软件版本、量产和客户部署。

这几家的共同处境：迁移路径讲得清楚，生产证据还薄。这不是贬低，是进度事实。

八、共同卡在哪

瓶颈不是一个点，是一串。

制程决定能效和面积；HBM 与先进封装决定带宽和容量；互联决定集群效率；编译器和长尾算子决定模型能不能顺畅跑；运维和故障恢复决定线上可不可靠；规模经济决定这套东西摊不摊得薄。

这六样会互相放大。

HBM 容量不足 → 切到更多卡 → 通信量上升 → 尾延迟变差 → 冗余增加 → 单位 token 成本上升

一个环节差一点，后面每个环节都要多付钱。所以单点参数接近，不代表系统接近。

还有一条容易忽略的：产量小，单颗分摊就高；客户少，又缺真实反馈，形成负循环。这条比任何技术短板都难破，因为它靠的不是研发，是规模。

九、突破要有顺序

图｜突破顺序：选场景、做闭环、建证据、降成本、扩生态，先闭环再外扩

顺序错了，很容易出现“宣传很大、迁移很慢”。

先把一个稳定负载做透。与其承诺覆盖所有模型，不如先挑高频、稳定、可测的场景，把精度、SLA、功耗、成本做成闭环。

再把软件做进上游。减少私有 fork，建立模型、精度、性能、版本的 CI。新框架发布时，后端不该长期落后。

然后做集群级产品。拓扑感知、通信、P/D、KV 传输、故障恢复、监控，都变成标准功能，而不是项目交付。

接着用独立 benchmark 建信任。固定模型、精度、SLA 和功耗，允许外部复现，不能只发布最有利的场景。

至少该公开四组结果：单卡离线上限，看内核效率；单机在线闭环，看 Serving；多机扩展，看通信；持续压测与故障注入，看生产稳定。每组留原始配置、容器摘要、软件版本、请求数据集、功耗测点和错误日志。

一个可信的结论得能回答这几句：模型质量一致吗，P99 一致吗，失败请求算进分母了吗，跑了多久，掉一张卡怎么恢复，成本包含哪些设备。答不上来，倍数再大也只是线索。

替换的节奏按四步走。

离线精度对照 → 镜像流量对比 → 小比例灰度 → 扩比例并验证回滚

第一步只验离线精度和关键算子，确保权重转换、量化、Tokenizer、采样和停止条件一致。第二步把少量真实请求镜像到新平台，比输出质量、TTFT、ITL、显存和功耗，但不返回给用户。第三步小比例在线灰度，盯 P99、取消、重试、OOM、链路错误和自动恢复。最后才提流量，同时验证升级、回滚和单机故障不会放大成集群事故。

比较要覆盖完整峰谷。工作日高峰、夜间低谷、短问答、长文档、Agent 的比例都不一样，只测一小时平均值，很容易得出错误结论。

还有人工成本。为绕过缺失算子维护了多少私有补丁，升级一次要多少人天，故障定位是不是得厂商驻场。这些不进芯片报价，但会进客户真实的 TCO。硬件省下的钱超过软件维护、冗余和迁移成本，替换才算走完经济闭环。

十、Kimi K3 把门槛又抬高了一截

这不是“模型公司已经做成推理芯片”的新闻。它更像一张新考卷：模型结构变了，推理系统和芯片生态要跟着变。

按 Kimi 官方资料和 Hugging Face 页面截至 2026 年 7 月 28 日的口径，K3 是 2.8T 参数级 MoE，用了 Kimi Delta Attention、Attention Residuals 和 Stable LatentMoE，上下文推到 1M token 级别；每个 token 在 896 个专家里激活 16 个；官方还提到 MXFP4 权重、MXFP8 激活，以及 64 张以上加速器的 supernode 部署建议。权重已经公开，vLLM 也有 Day-0 支持，但这只证明模型和开源服务栈进了可复现验证阶段，不证明任何国产芯片的订单、供应关系或量产结论。

对国产芯片的含义不在“谁拿到了订单”，在“以后适配大模型不能只盯传统 Transformer 主干”。

缓存形态变了。传统注意力主要保存每个历史 token 的 K/V，KDA 会引入 recurrent state。推理引擎要同时管普通 KV、KDA 状态、前缀缓存命中和 P/D 传输，芯片软件栈也得知道这些状态怎么分配、复制、回收。

MoE 让路由和通信更重。16/896 意味着计算省了，但 router、top-k、token dispatch、expert parallel 和负载均衡全变成主路径。只说矩阵峰值，判断不了能不能跑好这类模型。

低精度从后处理推到全链路。MXFP4 和 MXFP8 要求硬件有高效的低精度路径，编译器和 kernel 要知道哪里能降、哪里必须保精度，模型质量回归要成为交付的一部分。

1M 上下文把缓存容量、前缀复用、分块 Prefill 和 P/D 解耦推到前台。通俗讲，模型要读的历史材料变得极长，芯片和服务系统就得想办法存、搬、复用这些状态，否则算力还没用满，显存和网络先堵住。

64 张以上加速器的建议说明，真正的难点在集群域。互联、故障恢复、调度、缓存迁移、监控，都得进生产系统。

还有一条要看边界。Kimi 技术博客提到 K3 用开源 EDA 工具为小模型设计过一颗验证性质的芯片，那是长程代码与工程能力的展示，不等于生产级推理 ASIC 已经出现。

所以它提的要求很具体：新注意力、新 MoE、新低精度格式、新缓存机制出现之后，国产芯片和软件团队能不能快速接入、正确运行、压出性能，并在生产负载里证明稳定。

模型每往前走一步，芯片生态就要回答：新算子有没有 kernel，缓存状态能不能复用，低精度会不会掉质量，多卡路由会不会拥塞，故障后能不能恢复。能持续回答，才叫系统闭环。

十一、结论

国产推理芯片的主要差距，不在一颗芯片落后多少纳米或者多少 TOPS。

它由制造、内存、封装、互联、编译器、Serving、集群可靠性、供应和客户信任一起组成。

国内已经能看到芯片与软件栈、适配测试、真实负载、集群实践的公开线索，但各家走到的层级不一样。评价标准不能因为“国产”就降低，也不能因为还有差距就否认已经形成的能力。

留一句判断：适配公告说明门开了，灰度流量说明路通了，客户复购说明生意成了。