10 月 23 日，中国信通院人工智能研究所和中国人工智能产业发展联盟联合发布《大模型词元服务性能监测报告（2026年）》，数据取自今年 1 月到 8 月的实测。
报告里有一个数字，做 AI 应用的人一眼看得懂：2026 年 8 月，国内模型的平均首词时延是 1.26 秒。一年前这个数是 0.78 秒，也就是你敲完问题、等第一个字出来，比去年多等了将近半秒。
奇怪的地方在下一行。同一批模型 8 月的平均吞吐是每秒 78.23 个词元，2025 年的均值只有 38.25，正好翻倍。吐字速度翻倍，你要等的那句话反而更慢，而且这半秒你只能多等一次，每一次调用都重付一次。
一般人的第一反应，是模型公司偷工减料了。
报告没这么说。它给出的解释是，这伴随模型参数量、上下文长度和调用量一起上升，并非单纯性能退化。半句答案先放这儿：慢，不是你被怠慢，是每次交出去的活变重了。
你交出去的，从一句话变成一份合同真正能说明问题的，是报告里那组上下文长度的分布。上下文长度达到 100 万词元的模型占 47.8%；20 万词元及以上的，合计占 95.7%，比 2025 年底提升了超过 76 个百分点。半年时间，几乎全行业都换成了长上下文。
20​ 万词元是什么概念。按一个汉字大约 1.3 个词元粗算，差不多是一本 15 万字的书；100 万词元，就是 5 本摞在桌上。一年前多数人是在对话框里问一句话，现在是整份合同、整套代码、半年的会议记录一起丢进去。



读的时间躲不掉。你等的那 1.26 秒，有一部分就花在这儿，而不在模型本身。
500 万亿个词元，是谁烧的第二个数更吓人。2026 年 6 月，国内词元日均消耗量约 500 万亿，是 2025 年 12 月的近 4 倍。信通院副院长魏亮在同一场论坛上补了一句更狠的：相比 2024 年初，这个量增长超过 1000 倍。
两年多涨了 1000 倍，这个速度放在任何一条基础设施的曲线上都不常见。
这些词元基本跟聊天框无关。报告提到，越来越多做模型即服务的平台，是通过公有云接口把词元卖给企业和开发者的；真正的消耗大户在企业那一头，客服、审核、代码补全、报表，一天到晚在跑。
价格掉头了，掉回原来的方向价格这条线，报告画得比时延更清楚。国内模型的归一化均价，2025 年下半年是 6.8 元，2026 年以来是 13.46 元，涨幅接近一倍。打了两年价格战，价格掉头回去了。同期国外典型模型的均价约 117.8 元，仍高出国内近八倍。
这里最容易误读。这个均价是把不同档位的模型放在同一把尺子上折算出来的，不等于你手上那个套餐涨了一倍。它说明的是，新出的模型整体往能力更强、单价更高的那一档挪了。便宜的模型还在，只是不再是主角。
有一个数，国内外是对不上的还有一组反差。国外典型模型 8 月的吞吐是每秒 112.82 个词元，比国内的 78.23 高出四成多；可国外模型的首词时延是 2.08 秒，比国内的 1.26 秒还慢。字吐得更快，开口更慢。
两边选的路不一样。一边把算力堆在参数和推理深度上，先想清楚再开口；一边尽量把第一句快点递出来，让你感觉它在动。哪条路对，现在还看不出来。用户体感上先开口的更讨喜，真干活的时候，读完全部再答的那种更省事。
把载重加了一个零，再嫌它起步慢回到标题那一问。模型变慢了吗？变慢了。那是变差了吗？这是另一个问题。同一份报告里，吞吐翻了一倍，能用百万字上下文的模型占到近一半，日均消耗涨了四倍。
你把一辆车的载重加了一个零，然后嫌它起步慢，这不叫车不好。
真正该改的是用法。整份文件丢进去，它得从头读到尾；你自己先挑出那三页，它一秒就能答。说白了，慢的是你交出去的活，不是这台机器。这跟让新同事干活是一个道理，没人会把 3 年的账本一次拍在他桌上。
所以明天你怎么用它——继续把整份东西甩过去图省事，还是花两分钟先挑出真正相关的那几页？