群发资讯网

用硅光子给AI传数据,Marvell/Celestial AI突破内存带宽瓶颈

用大模型推理,省电能做到40%以上,吞吐提升6倍, 这是在NVIDIA H100/H200上跑LLaMA-3.1 70B验证出来的实测结果;

一根光纤束的带宽是7.2 Tbps,比HBM3堆栈还快, 还能拆下来、装到别的机架上;
光链路最大的坑在电源, 56Gb/s单端驱动器在1.8V高压下跑,电源噪声管理成了整个设计里最难的部分。
Marvell的这篇报告主题是面向加速计算的Photonic Fabric内存光互连,下面具体看看:
为什么非要上光?
内存墙,计算早就不是瓶颈,传输数据才是。

HBM封装墙, 垂直方向,HBM堆叠从4-Hi走到12-Hi已经要用混合键合,厚度快到封装极限;水平方向,硅中介层面积也快到光罩极限。

还有内存利用率,Azure统计过,一半的虚拟机DRAM利用率不到50%;另一边,NERSC有15%的负载内存占用超过75%,内存需要池化、需要拆出来共享,这正是光互连的主场。
EAM方案

尺寸:EAM约50μm,微环不到10μm;
温度稳定性:EAM可在50°C以上工作,微环只能容忍1°C以内的漂移;
速率:EAM支持56~112 Gbps,0.9~1.8V低压驱动
光谱带宽:EAM约30nm宽,支持多波长复用
所以整个光链路选EAM做调制器,Gen 1单根光纤224 Gbps,一个FAU(32通道)到7.2 Tbps,AMS电路只占不到2mm²,能效2.4 pJ/bit,信号眼图在1e-9误码率下还有0.2UI的余量。
实测性能
模拟框架在8卡H100上用TensorRT-LLM跑推理:

功耗:1T到96T参数的模型,相比纯NVLink方案普遍省15%~42%,大模型场景系统级省电约85%;
吞吐:相对速度1.4~5.6倍,序列越长提升越明显,最高6倍
延迟:降低约40%
容量:单个PFA设备16个PFM模块,共享内存超32 TB,一个2TB内存模块带宽7.2 Tbps,100ns左右的RDMA延迟,整机115 Tbps
对动辄几十T参数的下一代模型,可以不用把权重分开,内存不够就加光模块。
集成与电源完整性
三种集成路线:
把Photonic Fabric IP做进XPU die(带宽密度最高)EIC/PIC堆叠chiplet(需要UCIe-S接口)PIC中介层或OMIB桥(类似CoWoS-L,支持UCIe-A)光的部分搞定了,但PI才是重点。
高压单端驱动是噪声源头,1.8V摆幅比常规LVDS猛,PDN谐振敏感IP间连接方式影响巨大,同电源域合并供电,自身阻抗20mV、耦合15mV;强行隔离反而自身阻抗不变、耦合涨到28mV64通道同时翻转时电源噪声30mV,换成随机模式只剩11mV,降了60%
最后,
光互连解决距离和带宽,EAM解决温度稳定性,chiplet和中介层解决集成,剩下就看电源完整性。