【中国的MiniMax和DeepSeek的最新型号不断突破性能瓶颈，无法用性能蒸馏来解释】
（WCCFTECH）此前，DeepSeek-V4.1-Flash-1017 模型在智能体基准测试得分与成本曲线上的帕累托最优位置一直无人撼动（这仅仅意味着该模型在这两者之间取得了最佳平衡），但这一局面相当短暂，新款 MiniMax M3.1 Flash 刚刚取得了领先。
即便如此，随着 Anthropic 和 OpenAI 双双打击蒸馏尝试，中国的人工智能实验室能否保持当前的发展轨迹仍不确定，尤其是考虑到它们的算力规模相对微小。
MiniMax M3.1 Flash 模型以极低的成本提供前沿级别的能力，100 万输入 token 的定价仅为 0.15 美元，而输出的定价为每 100 万 token 0.60 美元。此外，该模型仅有 4280 亿参数，其中活跃参数为 230 亿，目前至少在三个广泛使用的基准测试——Automation Bench、Banker ToolBench 和 LOCA-Bench-256K——上全球领先。这意味着该模型为智能体工作流提供了绝对最佳的每美元性能。
即便如此，DeepSeek-V4.1-Flash-1017 在 DeepSWE v1.1 与每项任务成本的对比曲线上仍保持帕累托最优，MiniMax M3.1 Flash 则位居第二。
该模型提供五种思考级别——低、中、高、超高和最大（默认）——并支持 HTTP、Anthropic SDK 和 OpenAI SDK。
此外，MiniMax M3.1 Flash 模型还带来了升级版的稀疏注意力框架，以及广泛的架构优化和更精细的硬件利用配置。
——每 token 计算需求降至上一版本的 1/20
AI 模型基本上由一系列 transformer 块组成，这些块由两个关键要素构成：
注意力层（Attention Layer）关注句子中词语之间的相互关联。例如，如果你给模型一个提示："巴黎是法国的首都"，注意力层会将"首都"一词与"法国"关联起来，并将"巴黎"识别为答案。即便如此，这一层并不知道"法国"或"巴黎"的含义，而是会以 KV 缓存的形式保存这些记录。随着上下文的增长，KV 缓存也会随之增长。
前馈网络（Feed-Forward Network，FFN）以权重的形式保存模型的全部知识，正是这一层利用深层数学公式来挖掘每个词背后的含义。这通常被称为激活值或隐藏状态，它们构成了模型在处理 token 经过多个 transformer 层时生成的内部数学表示。例如，它会看到"法国"并激活其国家百科全书，以挖掘这个词的意图含义。
MiniMax M3.1 Flash 依靠其专有的 MiniMax 稀疏注意力（MSA）框架来弥补 KV 缓存瓶颈问题，该问题会拖慢预填充（输入处理）和解码（输出生成）。
在 MSA 框架下，系统不会在整个 100 万 token 的上下文窗口中逐 token 评估注意力，而是将 KV 缓存压缩成块。然后系统会计算一个低成本的"块分数"来确定相关性。实际上只有最关键的块（大约 6% 到 7% 的部分）会被拉入完整计算。这将每 token 的计算需求降至标准注意力成本的 1/20。
——该模型将预填充速度提升 9 倍，解码速度提升 15 倍
MiniMax 编写了自定义 GPU 内核，优化了查询（Q）向量获取上述分布式 KV 缓存数据块的方式。通过重构数据访问布局，该模型在长上下文场景下，初始提示读取（预填充阶段）实现了 9 倍加速，文本生成（解码阶段）实现了 15 倍加速。
——精细化的硬件利用率与内存效率
在标准云集群上部署一个总参数量达4280亿的混合专家（MoE）模型，可能会带来巨大的内存与网络瓶颈。MiniMax M3.1 Flash的此次更新聚焦于解决这些工程层面的摩擦点：
投机解码对齐（Speculative Decoding Alignment）：在解码阶段，模型将中间序列送入一条更快、更精简的草稿路径，用于预测后续token，同时依靠完整的230亿活跃参数组并行验证并纠正这些预测。简单来说，就是一个微型草稿模型预测即将到来的token，而另一条独立路径负责验证预测并纠正任何预测错误。
KV块主导与分页注意力（KV-Block-Major and Paged Attention）：该架构使用步进式内存视图将内存映射为动态页面块，以步进模式读取上下文（例如，每隔第N个token或块进行注意力计算），然后创建一个虚拟层（或者说一种“幻象”），形成压缩后的序列，而无需在GPU上实际复制或分配庞大的新物理内存池。这彻底消除了内存碎片，使GPU利用率始终接近最大容量，同时又不需要庞大而昂贵的内存开销。
AB交换式HMMA布局（AB-Swapped HMMA Layout）：解码机制采用定制的矩阵乘法（HMMA）布局，专门用于快速跟踪和评分索引分支，而不会让GPU张量核心陷入停顿。
——原生多模态与系统编排优化
交错式流水线并行（Interleaved Pipeline Parallelism）：与那些在文本模型上外挂视觉适配器的模型不同，MiniMax M3.1 Flash采用了原生视觉编码器，并在深度交错的文本、图像和视频数据上进行了训练。该模型将视觉与文本token/信号路由至高度同步的并行流水线，从而减少了不同GPU节点之间的数据同步延迟。
基于Rust的服务网关（Rust-Based Serving Gateways）：视觉与多模态处理层采用高性能的基于Rust的服务模型网关（SMG）。这将繁重的图像/视频预处理完全卸载到CPU集群上，确保GPU集群永远不会因等待数据格式化而空闲。
由于所有这些升级，MiniMax声称该模型具备以下优势：
在线推理速度提升近3倍
智能体（agentic）任务成本降低70%
日常使用中的输出速度超过200 TPS（每秒token数）（P50为170+）
更强的编码、计算机操作、智能体及网络安全能力
——DeepSeek-V4.1-Flash-1017 和 MiniMax M3.1 Flash 都体现了中国日益严峻的算力制约，尽管关于蒸馏的争论仍无定论。
正如上述X帖子所显示的那样，MiniMax目前的算力规模仅为7万块H100等效GPU，而DeepSeek的算力规模更低，仅约为4.7万块H100等效GPU。相比之下，OpenAI的算力规模高达370万块H100等效GPU！
因此，DeepSeek 和 MiniMax 目前的模型在激活参数和总参数数量上，都少于它们在 2024/2025 年发布的模型，这几乎不足为奇。中国的 AI 实验室正日益被迫将更大比例的算力资源转向强化学习（RL），即模型通过一套奖励与惩罚的机制来学习新的技巧。
鉴于这一范式，中国的 AI 实验室转而蒸馏西方同行模型中的推理轨迹，也就成了自然而然的选择。不过，在 Anthropic 和 OpenAI 最近展开打击之后，这项任务已变得困难得多——Anthropic 甚至报告称，在挫败了蒸馏路径后，其季度收入损失了 5% 到 6%。
然而，DeepSeek-V4.1-Flash-1017 模型产生幻觉的频率却低得多。如果该模型是通过监督微调（SFT）蒸馏而来的——即让一个 LLM 在一个由高质量、带标注的输入-输出对（例如来自更大模型的提示/回复或问题/答案）组成的精选数据集上进行训练——那么它产生幻觉的频率应该会高得多，尤其是因为这种技术会教学生模型以教师模型的自信去回答它从未存储过的事实。
这就是那个挥之不去的谜团：中国的算力限制使得蒸馏成为必然，然而这种蒸馏的效果却未必体现在中国一些最成功的模型（如 DeepSeek-V4.1-Flash-1017）的输出中。
