WRC热度未散,曙光ParaCache又接住具身智能
世界机器人大会的热度还没完全过去,数博会这边,中科曙光又推出来新一代词元加速方案ParaCache。两件事放在一起看,更有意思。
具身智能进入真实场景后,机器人面对的可不是简单的一问一答。视觉、语音、动作轨迹、环境反馈持续涌入,模型既要记住前面的状态,又要快速做出下一步判断。上下文越来越长,多个机器人还可能共享地图、任务规则和行业知识,重复计算会迅速吞掉推理资源。
ParaCache切中的恰恰是这类问题。它把已经计算过的KV Cache放进跨GPU、跨节点的共享缓存池,相同环境信息和公共知识一次计算、多次调用,只对新增内容继续推理。120K输入长度下,单轮对话首词元时延最高降低98.5%;高并发场景吞吐量最大提升27倍。换到机器人集群里理解,就是反应可以更快,同一套算力也能支撑更多并行任务。
赛迪报告显示,中科曙光在具身智能分布式存储市场居于领先位置,同时在AI、教育和自动驾驶等行业表现突出。这说明ParaCache并非突然追热点,前面已经有场景和客户基础,今天是在已有存储盘面上继续向推理加速延伸。
我的判断是,具身智能越往规模化部署走,竞争越不会只看模型和芯片。谁能把机器的“记忆”管好,让它少忘、少重算、反应快,谁就更接近真正可用的系统。
中科曙光 ParaCache 中科曙光ParaCache
