自建 DeepSeek 推理，麻烦的从来不是权重，是把它撑成一个能上线的服务。DeepSeek 10 月 16 日开源了自家生产在用的推理框架 DeepInfer，五天 GitHub 涨到 16,330 星、1,619 个 fork，HN 上 2,251 分、65 条一级评论。

第一件要先看清：这次放出来的是「离线推理」骨架。README 写的是「This open-source release provides offline inference」，支持的模型只有 DeepSeek-V4.1-Flash 一个，硬件只认两种——NVIDIA SM100 和华为 Ascend 950 NPU。你手上的 A100、H100、消费卡，都不在名单里。

第二件是官方自己列的缺件清单：KV cache 系统、VE/Prefill/Decode 分离（引擎功能大部分已实现）、数据并行副本间的负载均衡，这三样都不在这次发布里。单机跑通推理没问题，但要变成多副本服务，这三件恰好是最关键的，得自己补。

第三件是它确实带了什么：FlashMLA、DeepGEMM、DeepEP 这些自家 kernel，DSpark 草稿 token（最大草稿长度默认 5），SWA 有界重放，batch-invariant 推理（仅 NVIDIA），确定性采样，以及 regex / JSON Schema / EBNF 三种结构化输出。性能只给了两张 Pareto 图，测试环境是 4 张 SM100 跑 prefill、64 张跑 decode。

限制要说清：只支持一种模型，意味着你现在评估的是「DeepSeek 自己的推理栈」，不是通用框架；GitHub issue 区没开（has_issues=false），有 146 个未合并 PR，遇到问题没有公开的提问入口；吞吐只有官方图，没有第三方复现。

我的判断：现在最合适的用法是当基线——同一批请求，拿它和 vLLM、SGLang 比一遍吞吐与首 token 延迟，再决定要不要换。直接拿它替换生产网关还太早，缺的三件正是服务化最难的三件。