本来还想再写一篇,谈推理芯片到底缺不缺。写了个开头就停住了。
原因很简单:AI 用得越来越多,套餐、额度、速度,这些词出现得也越来越频繁。聊天的时候这些感觉还不明显。真把 AI 用来读长文档、查资料、写代码、做表格、跑 Agent,问题就出来了。便宜套餐能做多少,复杂任务扣多少额度,高峰期要不要排队,更快的模型放在哪一档,都会直接影响工作敢不敢交给它。
一项技术如果已经便宜到可以忽略,没有人会天天研究它背后的硬件。开始关心推理芯片,恰恰因为它还不能被忽略。
一、套餐页比发布会更接近日常
翻几个常用的 AI 套餐页,比翻十场发布会更接近日常。
Kimi 官方列了四档连续包月,从 49 元到 699 元。不同档位对应不同的 Agent 用量、并行任务、Kimi Code 额度和专业数据库调用次数,所有会员功能共享一个按 token 消耗的额度池。
智谱的 GLM Coding Plan 同时设了 5 小时限额和每周限额,还写明高负载时任务可能进入动态排队和限流,高阶模型在不同时段按不同系数扣额度。
这些套餐不能证明“市面上缺多少颗芯片”。它们至少说明一件事:平台没有把 AI 做成一个无限量、同速度、同优先级的平价服务。它们在分配额度,也在分配速度、并行能力、模型档位和服务优先级。
哪个套餐值不值,不是这篇要争的。价格会变,每个人的使用强度也不同。值得在意的是另一件事:智能服务已经进入日常工作,却仍然需要被仔细计量。
图|套餐页在分配什么:额度、速度、并行和优先级
二、订阅费不是一张芯片账单
不过,账单不是芯片账单。每月付给 AI 产品的钱,并没有全部交给推理芯片。
买到的是一项完整服务。模型回答问题要消耗推理计算;长上下文要占用更多缓存和内存;联网搜索要访问外部服务;文档和生成结果要存储;Agent 还要调用浏览器、代码环境、数据库和云端沙箱。平台另外还要承担模型研发、软件工程、产品、运维、安全和客服。
Kimi 的会员说明里,连云端 Agent 主机持续占用沙箱资源都单独计入额度。
所以,不能拿一个月 199 元或 699 元,直接倒推出里面有多少元是 GPU、HBM 或电费,更不能再从这个数字跳到“某种推理芯片严重短缺”。
账单能说明 AI 还不便宜。它不能替任何人完成硬件诊断。
图|一张 AI 账单的四个去向
三、慢,也不能全怪芯片
用 AI 时最直接的挫败感不是贵,是慢。但“慢”不是一个答案,只是一个症状。
第一个字迟迟不出来,可能是请求在排队,也可能是长上下文在做 Prefill。回答写得慢,可能和 Decode 阶段的计算、内存带宽、模型大小和并发有关。一个 Agent 半天没完成,还可能卡在联网搜索、网页加载、文件解析、工具调用或者失败重试。有时候平台也会主动限速,不是机器跑不动,是同一时间要服务更多人,只能给不同套餐安排不同优先级。
芯片当然重要。纯推理的吞吐、延迟和单位成本,最后都要落到芯片、内存、互联和软件栈上。但只凭一次卡顿,判断不了究竟缺的是芯片、显存、带宽,还是调度能力。
更准确的说法是:不是在一次卡顿里看见了芯片短缺,而是在长期存在的额度、排队、限速和分档里,看见高质量推理还没有便宜到可以随便用。这里缺的未必是某一型号芯片,缺的是在可承受价格下,稳定、快速、可以大规模交付的推理能力。
图|慢不是一个答案,同一种体感可能卡在完全不同的地方
四、推理芯片到底缺不缺
问题还是会绕回来:推理芯片到底缺不缺?
没有一份全球推理芯片供需表,也看不到每个平台真实的利用率。仅凭几个套餐的价格、额度和速度,下不了“芯片严重短缺”的结论。
有的平台可能缺高端加速卡,有的可能缺显存和网络,有的硬件够用但软件效率和高峰调度还没做好,还有的会主动控制免费额度,把更稳定的服务留给付费用户。这些在用户眼里很像:贵、慢、排队、额度不够。但它们不是同一个问题。
所以更愿意把“缺”说具体一点。今天真正稀缺的,是在可承受的价格下,持续提供高质量推理的能力。它要求芯片、内存、互联、供电、模型和软件一起工作,少一块都可能把成本顶上去。这也是为什么不想用一句“芯片不够”解释所有问题。那句话听着痛快,却没有解释究竟在为什么付钱。
图|到底缺的是什么:一整套便宜稳定的高质量推理交付能力
五、写了十篇,终点和做芯片的人想到了一起
这个系列从第一篇的一百万 token 成本写起,后面一路写到服务系统、芯片架构、Transformer、制造、国际路线、国产生态、产业链证据,再到头部大模型公司的芯片传闻。十篇写下来,越不想用一句“缺芯片”收尾。“缺”太容易制造故事。真正难的是把推理做便宜。
同一个模型,能不能用更少的芯片、更低的精度、更紧的 KV Cache、更好的调度和更高的利用率,稳定服务更多人?国产芯片能不能从“跑起来”走到软件好用、集群稳定、成本可算?平台降价以后,是短期补贴,还是单位 token 成本真的降下来了?
这些问题没有一句爽快答案,却比一句“芯片很缺”硬得多。
有意思的是,这个判断不是天天看套餐的人独有。做推理芯片的人,想的是同一件事。
云天励飞董事长陈宁公开讲过一个“1001 计划”:通过产业协同,把 AI 推理成本往下降约一百万倍,做到百亿 token 一分钱,让 AI 像水电一样普惠可用。他还说过,目标是把百万 token 的成本每年降一百倍,到 2030 年实现百亿 token 一分钱——只有到那一步,才算真正的工业革命。在路线上,他的说法是“训练追赶、推理超车”。
这和这个系列一路写下来的终点,是同一个:芯片不是目的,便宜到用户不再盯着额度的那次服务才是目的。今天讨论制程、HBM、封装、流片、点亮,所有这些中间过程,最后都要折算成一个问题——下一升“电”,多少钱,稳不稳,打开开关有没有。
当然要说清楚:云天励飞是上市公司,陈宁讲的是公司战略目标,目标不等于财报,这里不构成任何投资建议。引用他,只是因为一个天天看套餐的普通用户,和一个做了十二年推理芯片的人,在“终点长什么样”这件事上想到了一起。
图|真正的终点:把推理做得足够便宜,直到用户不再感觉它
六、最后一段话
如果有一天,打开 AI,不再先看剩余额度,不再因为任务太长而犹豫,也不需要为更快的回答反复升级套餐,那才算真正普及。
到那时,机房里的芯片仍然在高速运行。只是人不会再感觉到它。
这就是这个系列最想留下的一句话:真正的普及,不是又发布了一个更大的模型。是点下发送时,不再先看额度。
水电这个比喻,工程师讲了很多年。这篇后记想说的只是:它不是一句口号,它是每个看套餐的人,每天都在用脚投票的那张账单。
小注:本系列文章已经完结,非本人原创,全部原文的作者是WX公众号的“捞月亮的荷尼”,本人只是用豆包进行转写,方便理解阅读推理芯片相关知识,请不要转载用于商业用途。