群发资讯网

vLLM 那张对比图底下的小字

这张图我最先看的是底下那行灰色小字,比曲线有意思。

vLLM 说在 DeepSeek-V4.1-Flash 上追平了 DeepSeek 自家的推理引擎 DeepInfer,限定在 DeepSeek 的 decode 配置,batch size 8 到 256。DeepInfer 当初就是在 vLLM 上搭的,这回 vLLM 接回了 DeepSeek 开源的 kernel,prefill 和 decode 又各磨了一遍。

decode 两条线缠在一起,中段 vLLM 略低,bs8 那头略高。可小字写着,DeepInfer 的数是从 DeepSeek 公开的图上读的,硬件和并行都不一样,decode 是 GB200 DEP32 对 EP64DP64,他们自己也说这不算引擎对引擎的加速比。

所以 prefill 那张高出的一截我就不看了。开源引擎在原厂的 decode 配置下把曲线贴上去,这个我挺服气的。

#DeepSeek #大模型 #AI