飞象原创(源初/文)近期,著名程序员、前idsoftware创始人johncarmack发文提出了一个大胆的设想,利用光纤延迟线作为ai的高速缓存,从而解决如今人工智能计算领域的内存瓶颈问题。
光纤做ai“超大缓存”
carmack思考使用一个长距离光纤回路作为某种二级缓存(l2cache),用于存储ai模型权重,以实现近乎零延迟和巨大的带宽。据他估算,目前单模光纤速度已达到256tb/s、传输距离超过200公里,也就意味着光纤线缆本身就包含着约32gb的数据。
由于ai模型的权重在推理过程中可以顺序访问,carmack认为可以将光纤回路作为数据缓存,以此保持ai加速器始终处于数据“喂饱”状态。此观点的逻辑在于把传统ram想象成ssd与处理器之间的缓冲器,通过光纤作为超大缓存的设想旨在改进甚至彻底取代它。
使用光纤线路的主要现实益处在于节能。维持dram运行需要消耗大量电力,而管理光信号的能耗极低。此外,光的传播是可预测且易于处理的。carmack指出:“光纤传输的发展轨迹可能优于dram。”
carmack的思路原理类似20世纪中期的延迟线存储技术,当时用水银或声音波来存储数据。不过这种早期技术很难实际应用。甚至连图灵都曾提出用“杜松子酒混合物”作为介质的荒诞想法来说明问题。
落地难点在哪?
作为业内著名程序员,johncarmack的设想很快引发了讨论,然而就像很多设想一样,最初都会面临重重技术障碍,自然有着诸多在当前行业背景下的不可能,摆在从设想到落地的过程中。
部分人士认为,光纤“能做”和“能够胜任”ai缓存是两回事。光在光纤中传播速度约为2×10⁸m/s,如果铺设200km光纤,单程延迟约1ms,数据可以调制在光信号上,在光纤中“循环飞行”,只要不断放大/再生信号,就可以让数据在环形光纤中持续存在。但这一原理更像是光学延迟线存储。
现代ai系统需要具备随机访问、纳秒级延迟、大量并行通道的特征,而光学延迟线的“循环飞行”是顺序访问,无法快速定位某一特定地址。有人在讨论中形容:“它更像一个‘循环磁带’,而不是ram或cache。”另外,目前即使用“短光纤”,延迟也远高于gpu可接受范围,而在ai训练里,延迟远比容量更重要。
实际落地中的工程设计难题也可能比堆叠dram的方式复杂得多。众所周知,由于光在光纤中会衰减,需要edfa放大器、时钟同步、光电转换等进行配合,来维持设想中的“循环飞行”,也就会带来能耗、抖动、误码率等问题。从而在当前条件的经济性上,还难以媲美现有内存范式。同时,光放大器和dsp处理器等设备,也会消耗大量电力,可能抵消掉预期节能优势。
围绕光纤的“超大缓存”设想,更像是一场面向内存墙难题的思想实验。它反映出如今ai时代算力与带宽失衡的核心矛盾,但短期内难以撼动dram与hbm的主流地位。但纵观技术发展史,很多如今成熟的技术,最初也均存在着诸多历史节点上难以逾越的门槛。