kimi团队的 YyWangCS，对前几天刷屏的kimi的新论文Attention Residual 的一篇解释文章： “谈谈 Attention Residual 架构一些背后的想法”网页链接

“作为月之暗面 AI Infra 团队的一员，这篇文章我想从 AI Infra，尤其是推理架构的角度，聊一聊 Attention Residual 背后的一些设计思考，也把论文里受限于篇幅没有展开的一些工程分析讲得更清楚一点。 ”