DeepSeek开源推理框架有何意义我查了那个仓库。13238颗星,四天。Apache-2.0。
README里有行小字:Batch-invariant、Deterministic sampling,后面括弧NVIDIA only。整个仓库只支持一个模型。
官方没给的写得很明白:KV cache、VE/Prefill/Decode分离、负载均衡。
别人说这降低门槛。
这挺奇怪的。一个不给你KV cache的推理框架,你拿什么算吞吐和延迟?单卡单小时38美元、10个月回本——那是渠道转述,查不到底。如果数字是渠道吹的,后面全塌。
DeepSeek开源的是一个能跑的壳。赚钱的核,还在自己手里。

