华为 CANN 社区的一份技术文档,最近被人翻了出来:《基于昇腾 950 超节点的万亿 MoE 模型预训练系统参考实践》。
文档里有一句话,把整个国产算力圈都点着了——基于 PyTorch 原生训练框架和昇腾 950 超节点,结合 DeepSeek-V4-Flash 的训练验证,CANN 分析了550B、1.6T两个尺寸的模型切分策略,并且进一步披露了向10T(10 万亿)规模外推时的部署权衡。
10 万亿参数。目前公开的国产模型里,最大的 DeepSeek-V4-Pro 是1.6 万亿。这一跳,是6.25 倍。
但先把最要紧的一句话说在前面:这是一份"外推"研究,不是谁做出了 10 万亿的模型。整个文档里,没有一个字说"我们训练了 10T",说的只是"如果规模推到 10T,工程上要怎么权衡"。这两件事的距离,比数字看起来远得多。
那这份文档真正的看点是什么?是它摊开了一件更少见的事——模型还没到,跑道先铺好。这件事,在半导体行业里其实屈指可数。
液冷机柜里的超节点:上千颗 NPU 被编成一台机器
这句话值得多停一秒。在一个习惯了"先有需求、再建产能"的行业里,反向操作从来不是常态。而这一次,是先建了。
一、把数字先摆平:10T 是什么量级先把坐标定住。截至现在,全球公开可查的参数规模是这样的:
已发布的国产模型里,DeepSeek-V4-Pro 是1.6 万亿总参数(激活 49B);月之暗面的 Kimi K3 是2.78 万亿,是当前全球最大的开源权重模型;阿里的 Qwen 3.8 是2.4 万亿。国外的,xAI 的 Grok 4.6 约1.5 万亿,已经发布;马斯克宣布正在训练的 Grok 4.8,口径是2.5 万亿。
而这些全部加起来,也没有 10 万亿。
真正在 10 万亿这个水位上的,公开信息里只有一家:字节跳动。据《金融时报》2026 年 8 月 7 日的报道,三位知情人士称,字节正在预训练一个最多10 万亿参数的模型。按这个口径,它会是3 倍于Kimi K3 的规模,也会让字节进入一个此前没有任何中国公司待过的水位。
请注意这里的用词——"据报道"、"知情人士"。字节官方从未确认这个数字。行业里更主流的判断是:把它当成一个方向性的信号,而不是一条已落地的事实。
再往上一层看,10 万亿这个数字在 MoE(混合专家)架构里,还有个容易被误读的地方。MoE 的玩法是:模型里装很多个"专家"子网络,每次计算只激活其中一小部分。所以"总参数"和"每次计算要动用多少参数"是两回事。以 DeepSeek-V4-Pro 为例,总参数 1.6 万亿,但每个 token 只激活 49B,大约3%。
按这个比例粗算,10 万亿总参数的模型,实际激活可能也就是3000 亿到 5000 亿的量级。它不是"10 万亿算力在跑",而是"10 万亿的容量摆在那,每次只搬一小块出来用"。
结论就一句:10T 不等于算力翻 6 倍,它翻的是存储、内存带宽和系统复杂度。
这也是为什么,参数规模这件事,越往后越不能只看那一个数字。同样是"10 万亿",激活比例定在 3% 还是 8%,对应的机器完全是两个量级。所以真正该盯的,不是总参数,而是激活参数和总参数之间的那个比例——它才是决定这台机器要多大、要多少电的那个数。
二、那"铺路"铺的到底是什么既然模型还没到,这份文档在忙什么?
它写的是"部署权衡"。翻成大白话就是:如果规模真推到 10T,哪些地方会先撑不住,得提前怎么接。
第一个撑不住的是显存。模型规模翻几倍,参数、梯度、优化器状态、激活值这四份东西都得跟着涨。CANN 的方案里,专门针对这四项做了内存优化。
第二个是并行策略。文档里设计了 FSDP(完全分片数据并行)、EP(专家并行)、CP(上下文并行)几套策略,在超节点内部和节点之间分别部署。这里的关键不在"用了哪些名词",而在"什么规模配什么切法"——550B 怎么切、1.6T 怎么切、推到 10T 又该怎么切,是不同的题。
说得再直白一点:模型规模每上一个台阶,参数在芯片之间的"摆放方式"就要重新设计一遍。摆得好,通信量小、利用率高;摆得差,芯片越多越堵。这套东西没有通用的最优解,只能一档一档试出来。
第三个是通信。这是超大规模训练里最要命的一环。上千颗芯片一起干活,每算一步都要互通参数和梯度,通信一旦跟不上,芯片越多反而越慢。
打个比方:一万个人一起抬一件货,如果每次挪一步都要互相确认一遍位置,那大部分时间都花在喊话上,而不是在走路。超节点要解决的,就是让这句"喊话"尽量不用喊——256TB 全局内存统一编址、3 微秒跨柜时延,本质上都是在给这句喊话省时间。
第四个是稳定性。几千张卡连续跑几个月,中间挂一张,整轮训练就可能白跑。文档专门写了"高可用训练"。
把这些串起来看就清楚了:这份文档不讲"我们能训多大的模型",它讲的是"如果模型真长到那么大,底座会不会先散架"。这是工程问题,不是模型问题。
三、为什么是昇腾 950:跑道是用什么材料铺的要理解这条跑道铺得多实在,得看昇腾 950 超节点本身。
在 2026 年世界人工智能大会上,华为公开展示了这台机器。它的核心是把上千颗 NPU 组成一个逻辑上统一的算力单元:标准配置16 台计算柜加4 台互联柜,最高可容纳1024 颗昇腾 950DT NPU,并协同部署256 颗鲲鹏 950 CPU。
单卡这一层,950DT 集成 HiZQ 2.0 HBM 高带宽内存,单卡144GBHBM 容量、4TB/s内存带宽,支持 FP16、BF16、FP8、MXFP4 多种精度。
整机这一层,峰值算力达到1 EFLOPS(FP8 精度)和2 EFLOPS(FP4 精度)。互联方面用的是自研灵衢 2.0 全光互联,集群总互联带宽1.72PB/s,跨柜往返时延低至3 微秒,支持256TB全局内存统一编址。
最后这一条最值得琢磨:256TB 全局内存统一编址。它的意思是,上千颗 NPU 可以直接共享同一片内存空间。过去那种"模型参数在服务器之间来回搬运"的通信开销,在架构上被绕开了。
散热用的是全覆盖液冷,单计算柜最大供电能力100kW;可靠性上做了2+2光路冗余,灵衢链路具备毫秒级闪断自恢复能力。
这套东西的定位很清楚:专为万亿参数级模型的训练和高并发推理设计。它不是给 1.6T 准备的,是给 1.6T 之后准备的。
四、这条跑道不是为 PPT 铺的:软件栈已经对上了硬件之外,还有一条更实在的线:软件栈。
9 月 30 日,DeepSeek 开源了面向昇腾的一整套基础组件,涵盖编程语言 TileLang、计算库和分布式通信库。这套东西和它此前面向英伟达平台开源的那套,是一一对应的。
更关键的一句是:DeepSeek 训练中用到的每一个 TileLang 算子,在昇腾上都有对应的高性能实现。
这句话的分量在于"每一个"。软件迁移最大的坑从来不是"能不能跑",而是"跑起来慢多少"。如果算子在两套平台上都有高性能实现,那迁移的代价就从"重写"降到了"换路径"。
硬件侧还有一组数字。华为联合定义了 UBL128 组网方案:128 卡、单层交换网络、单卡3.2Tbps。而 DeepSeek 自研的通信库 DeepEP,实测 Dispatch 带宽达到375GB/s,接近硬件上限。这些成果已经同步在 CANN 社区开源。
把这条线串起来:硬件有 1024 卡的统一平面,软件有 CANN 全栈,语言有 TileLang 对应实现,通信库有 DeepEP 实测到上限,训练验证有 V4-Flash 跑过——"国模 + 国芯"这套组合,是从语言层一路对到通信层的。这不是提前布局,是提前铺跑道,而且铺的是一整条。
十万亿参数的重量,最终压在显存、通信和电力这三条线上
市面上的"国产替代"叙事,常见的是"参数上追平了"。但真正难的地方从来不在参数,而在整套工具链能不能接上。一家公司换掉芯片供应商,最怕的不是跑不动,是原来调好的东西全部要重调一遍。而当编程语言、计算库、通信库这些最底层的东西都有了对应实现,迁移的成本才真正降下来。
所以这份文档的价值,其实不完全在"10T"那个数字上。它同时在说另一件事:这条链的接缝,正在一段段地被焊上。
五、这里要泼一盆冷水:外推不等于实测前面讲的都是"铺路铺得多扎实",但有三件事必须说清楚,否则这份文档容易被读歪。
第一,外推研究不等于 10T 实测。文档原话是"向 10T 规模外推时的部署权衡"。"外推"在工程语境里,是根据已知规模的规律去推未知规模的边界——它是纸面上的推演和权衡,不是跑完一轮 10T 训练后拿出的实测数据。这两者的差别,相当于"我算了一下这栋楼能盖 100 层"和"我盖完了一栋 100 层的楼"。
第二,"DeepSeek 要做 10 万亿"是外界的推断,不是官方宣布。依据是同一份 CANN 文档,以及 DeepSeek 与华为在软硬件上的深度协同。但 DeepSeek 自己没有发布过任何 10T 的模型计划。把"技术文档里讨论了 10T"直接读成"DeepSeek 要发 10T 模型",中间差了很大一步。
第三,华为也没有发布 10 万亿模型的计划。它发布的是超节点,是算力底座。"为 10T 铺路"这个说法,准确的含义是:底座的承载能力到了 10T 这个水位,而不是华为要去做这个模型。
把这三条摆在一起,这份文档的性质就清楚了:它是一次面向未来的工程预备,不是一次已完成的冲刺。
六、这笔账该怎么读:底座先跑,模型后到那问题来了——模型都没影,为什么先把跑道铺好?
因为在这条链上,算力底座的交付周期,本来就比模型长得多。
一个模型的训练周期,是几个月量级;而一套超节点,从设计、流片、组网到量产交付,是以年计的。如果等模型决定要做了才开始准备底座,时间上根本来不及——昇腾 950 超节点的商品上市时间,计划在 2026 年第四季度。
所以正确的读法是工序问题,不是宣传问题:先把可能用到的承载能力建好,等模型真到了 10T 那一天,不至于卡在"没有机器能装得下"。
这个逻辑反过来也能解释前面那三条冷水为什么重要。底座可以适度超前——多铺的路以后能用上;但模型不能随便喊数字——喊了就得真跑出来。两者的容错空间不一样,所以节奏也不一样。
回到开头那个问题:第一个 10 万亿参数的国产模型会是谁?
公开信息里,唯一被点到名字的是字节。但连那个数字,都还是"据报道"。真正的答案可能不是"哪家公司",而是——当它出现的时候,能接住它的机器,已经先在机房里等着了。
这才是这份技术文档最该被读到的地方。它说的不是"我们要做多大的模型",而是"我们先把能装得下大模型的房子盖好了"。
(说明:文中参数规模、算力与互联规格,来自华为 CANN 社区公开技术文档《基于昇腾 950 超节点的万亿 MoE 模型预训练系统参考实践》、昇腾 950 超节点公开资料及 DeepSeek 开源组件公告;字节跳动 10 万亿参数为《金融时报》报道口径、官方未确认;文中"外推"指技术文档中的规模推演,不代表已完成 10T 模型实测;DeepSeek、华为均未发布 10T 模型计划;文中不涉及任何投资建议。)
关注【留点自由】,一个科技领域的深度观察者。别人看热闹,我们看门道。芯片、算力、AI、机器人,每天一条,把产业账算给你听。
#华为 #昇腾 #国产大模型 #DeepSeek #AI算力 #上头条 聊热点
讨论区:补一个正文没展开的账——这份 CANN 文档里其实还藏着一个更有意思的信号。它验证 550B 和 1.6T 用的,是 DeepSeek-V4-Flash;而"外推"到 10T 的部分,是推演、不是实测。也就是说,从 1.6T 到 10T 这 6 倍多的跨度里,公开能查到的工程验证,只走了前面一小段。剩下的路,是靠并行策略、通信库、显存优化这些"预备动作"在往前顶。你觉得这条路上,最后会先卡在显存、通信,还是训练稳定性?评论区聊聊。觉得这账算得清楚,点个赞再走。