scaleFabric Token加速：AI时代，“网速”开始直接影响Token产量了
中科曙光9月又把scaleFabric往前推了一步，发布Token加速技术体系。曙光这次讲得很直接：网络、存储和计算之间少等待，模型才能更快输出Token。

这其实改变了很多人对AI性能的理解。
我们平时用大模型，只感觉“这个模型回答快不快”。后台真正发生的是大量GPU不断交换参数和数据。模型规模越大、并发越高，网络和数据读取就越容易成为瓶颈。

所以Token生成速度并不完全取决于芯片。
这也是为什么今年国内外AI基础设施厂商都开始把互联摆到越来越重要的位置。大型AI系统其实已经很像一台被拆成成千上万个部件的超级计算机，连接效率决定整体效率。

中科曙光把scaleFabric从“网络产品”继续往Token效率延伸，我觉得方向值得观察。
未来AI基础设施的衡量单位，可能会从多少卡，慢慢变成每度电、每元钱到底能产出多少Token。
中科曙光 scaleFabric Token AI推理 高速网络