看到谷歌为了缓解AI内存紧张,开始从退役服务器里拆DDR4,我立马想到中科曙光,它最近做ParaCache的方向可能确实踩到了一个越来越现实的问题。
以前大家讨论AI基础设施,注意力基本都在GPU,现在发现GPU有了,显存和内存照样可能卡脖子。
谷歌现在的做法很务实:旧内存继续利用,同时在软件层面压缩KV Cache,尽量少占宝贵的内存资源。
曙光ParaCache走的是另一个思路:把GPU显存、CPU内存、SSD和分布式存储统一起来,热数据放在快的地方,冷数据往成本更低的存储下沉,已经算过的内容还能重复利用。
我觉得这件事挺有意思。AI发展到今天,已经越来越不像单纯的“芯片竞赛”,而更像一场系统工程竞赛。谁能少用一点昂贵内存、少做一点重复计算,同样的硬件就能干更多活。
谷歌开始“拆内存”,曙光开始“以存换算”,背后的逻辑其实是一样的:算力越来越贵以后,精打细算本身就是技术。
中科曙光 ParaCache 人工智能 AI算力 国产科技 数据中心

看到谷歌为了缓解AI内存紧张,开始从退役服务器里拆DDR4,我立马想到中科曙光,它最近做ParaCache的方向可能确实踩到了一个越来越现实的问题。 以前大家讨论AI基础设施,注意力基本都在GPU,现在发现GPU有了,显存和内存照样可能卡脖子。 谷歌现在的做法很务实:旧内存继续利用,同时在软件层面压
阅读:3
点赞:0