群发资讯网

全球首款基于 LPDDR 的 AI 推理处理内存(PIM)解决方案

三星把 LPDDR 变成了 AI 加速器。
跑 Llama-3.1-8B 时,搭载 LPDDR5X-PIM 的 SoC 比用普通 LPDDR5X 的提速 3 倍以上,单卡带宽做到传统方案的 8 倍;
在现有 DRAM 控制器下直接可用,理论上是一块插上去就能用的内存;
AI 芯片成本里内存占比已经从 52% 涨到 63%,这个趋势如果继续下去,算在内存里就是节省成本的刚需。
三星最近公开了 LPDDR5X-PIM,全球第一个基于 LPDDR 的存内计算(Processing-In-Memory)量产方案,下面具体看看:
动内存的原因
AI 芯片组件成本中,内存(主要是 HBM)占比从 2024 年一季度的 52% 涨到 2025 年四季度的 63%;HBM 的问题不只是贵,功耗高、封装复杂,这两个对边缘设备和移动端尤其致命;行业已经在模型侧发力,包括更高效的 LLM 架构、更小的模型,但内存本身必须有新形态,光靠软件优化不够用。

于是 LP-PIM 的定位要求比 LPDDR 带宽高,系统整体功耗比 HBM 低。
这条路三星走了五年
PIM 不是新概念,三星的路线图:
2021 年:HBM2-PIM(Aquabolt-XL)证明可行性,面向 ML 加速器2023 年:HBM-PIM 集群验证,面向 Transformer 类 AI2026 年:LPDDR5X-PIM 正式产品化,目标 AI 推理前两代是秀肌肉,这代是真的要进手机、笔电和服务器的量产。
参数
16GB 容量,561-ball 封装,完全基于 JEDEC 标准每个 DRAM Bank 内置 PIM 计算块,共 16 个,MAC 树并行工作普通 LPDDR5X 带宽 76.8 GB/s,PIM 模式下 614 GB/s首个支持多精度数据类型的 LP-PIM 产品兼容性也很强,通过AAM机制,PIM 指令被映射成常规 DRAM 地址访问,传统内存控制器不用大改就能驱动它。

实测结果
评估用的平台是三星自研的 Edge AI 加速 SoC,跑 Llama-3.1-8B,320 token 上下文,SINT8 激活 + SINT4 权重量化,结果如下:
推理耗时:12.3 秒降到 5.4 秒,提升 2.28 倍;
输出速度:27 TPS 提到 81.3 TPS,提升 3.01 倍;
而且,三星表示PIM 性能优化仍在进行中。
未来,
PIM 喊了很多年,难的一直是在现有生态里怎么落地,三星把兼容性做成了核心卖点,如果 JEDEC 标准能跟上,就变成行业共识了。