今天，我看到百度开源了文心5.5 Flash Base（ERNIE-5.5-Flash-Base）模型，并同步放出了一份详细的技术Blog。

这份Blog刚放出来不久，就引起了不小的讨论。

其中很大一部分原因，是它在同尺寸的Base模型里拿到了SOTA，超过了DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base等模型。

这是一个总参数280B、每个Token激活14B的MoE模型。在33.5T Token上从零完成预训练，训练上下文最长128K，微调和推理可以支持1M上下文。

不过，这次放出来的是一个Base模型。它已经完成了预训练，但还没有做对话对齐，所以不能像聊天机器人那样直接上手测。

虽然我一开始也是更关心文心5.5 Flash正式版什么时候来，但翻完这次的技术资料和评测，我发现，Base版本还有挺多值得细看的地方。

1先给不太熟悉的朋友解释一下，Base模型是什么？

我们平时使用的聊天模型，通常已经经历了好几个阶段。预训练让它学习语言、知识、代码和推理；后训练再教它听指令、使用工具、遵守规则；到了产品阶段，还会叠加搜索、记忆、安全策略和交互设计。

一个聊天模型表现很好，我们看到的其实是预训练、后训练和产品工程共同作用的结果。

但Base停在预训练终点，还没有经过指令微调和强化学习，更接近大规模预训练结束后的原始状态。

百度将它与DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base放进同一套评测框架，使用相同的Prompt、few-shot样例和裁判模型。

按照官方公布的完整表格逐项统计，30项测试中，它有24项取得四款模型中的最好成绩；与DeepSeek-V4-Flash-Base相比，则在26项中领先。

它释放的信号很明确，一个没有经过后训练的模型，已经具备了相对宽且高的能力底盘。

后续训练不必先忙着弥补基础能力，而是可以站在这个起点上继续放大推理、Agent和专业领域能力。

2我去看了一下他们技术Blog，设计主线其实就两个字：效率。

为什么一个基座模型要这么重视效率？原因在后面的使用环节。

后续训练需要反复采样，Agent需要多步交互，模型还要处理长上下文，这些开销都会持续累积。

所以，团队把注意力、MoE层和输出头逐个拆开来看，重新衡量能力和效率之间的关系。

最典型的例子是注意力设计，文心5.5提出了一种混合稀疏注意力的新方案。

在43层网络中，有37层使用重度压缩注意力，每128个Token压缩成一条缓存；只有6层保留逐Token访问远距离历史的能力，并通过稀疏注意力只计算真正重要的位置。

可以把它理解为，模型在读长篇小说的时候，绝大多数时间只看每一章的内容梗概，只有到了最关键的几页，才去逐字推敲。

这样做，是为了在保留长上下文能力的同时，减少KV Cache和注意力计算的开销，是一种很好的减法思维。

MoE部分也采用了类似思路。传统MoE通常由一个路由器决定应该调用哪些专家。但单一路由器的打分不一定等于专家的实际价值，一旦选错，落选专家又很难得到纠正机会。

文心5.5Flash的解决办法，是让多个独立初始化的路由器一起打分。这些路由器的偏好会自然分化。一个专家只要被某个路由器强烈看好，或者同时得到几个路由器的认可，就有机会入选。

换句话说，就是给系统多留几条纠错的路。而且，激活的专家数量、计算量和通信量都和单路由器一样，但路由打分和专家实际作用之间的相关性明显提升了。原本相关性最弱的中深层，提升也最大。

ECHO也延续了这个方向。多Token预测，也就是MTP，传统做法是在主干网络外面再接一个专用模块。

ECHO则直接复用主干最后一层预测未来Token，让训练信号直接作用在真正负责生成的核心参数上。

论文显示，这种设计可以在减少额外模块的同时，提升数学、推理和代码能力。

这几项设计看起来解决的是不同问题，背后其实是同一个方向：不仅要把模型训练得更强，还要让每一份激活参数、每一份KV Cache和每一次计算都发挥更大作用。

3最后说点我自己的想法。

过去一两年，行业里讨论最多的是后训练和Agent，预训练好像被默认成已经卷完的阶段。

但Base模型的质量决定了后续所有工作的起点。数据配比、模型架构、训练目标这些关键选择，也只有真正从零训练过模型的厂商才能完全自己做主。

开放Base模型的意义也在这里。

至于文心5.5 Flash正式版，相信也会值得期待。

毕竟在它到来之前，这个Base模型已经提前释放了一个信号：文心下一代模型的竞争，不只是产品体验的竞争，也是预训练基本功和模型效率的竞争。