我本以为源神格局已经定了, 没想到还有下半场. 百度刚发了 ERNIE-5.5-Flash-Base, 我一开始以为就是例行的文心更新, 结果看了一下 HuggingFace 上的模型卡和 config.json, 发现事情有点意思了哦

我看完了模型卡结论就是, 这个模型是完全面向「1M 超长上下文 + 后训练/Agent 反复采样的极致效率」去从头设计的. 参数量 280B-A14B, 总计用了 33.5T token 从零预训练.

最猛的是现在放出来的是基模 (刚结束预训练还完全没做过 mid-training 和大规模后训练的 Base 权重模型), 然后就在统一管线的 30 项权威 benchmark 里直接拿下了几个基模测试中 24 个项目第一

比如基模我最关注测 MMLU-Pro (测模型知识理解与复杂推理能力的) 直接跑到了 78.4 (比 V4-Flash 高了 9.2), 长文代码检索 RepoQA 更是干到了 91.7

给大家讲一下这个基模最亮眼的几个技术细节, 其中 ECHO 自递归是我最感兴趣的. 传统 MTP 做多 token 预测是挂一个几 B 参数的专用模块来猜后面的词, ERNIE 直接让主干最后一层自己兼职预测, 额外参数只有约 0.36B, 几乎不多占显存. 而且论文里还配了"动态深度采样", 训练时按概率决定这一步往后猜几层, 往后猜 3 个 token 的 MTP 训练开销只相当于 1.5 步; 论文实验里甚至把深度开到了 7. (注意: 这次开源的 ERNIE 5.5 Flash 预训练用的是单步 ECHO)

除了上面这些, 这个基模完全是瞄准开源去打的, 一方面目前放出来的基模是完全没被 SFT/RL 锁死的纯净预训练终点, 往上做垂直领域微调或大规模强化学习的天花板会很高.

另一方面, 对比存算分离的 DSv4.1Flash 或者 Qwen3.8FlashNext (这俩都外挂了上百 GB 的查表记忆，还要放主机内存异步预取，训练框架得专门适配，小团队上手成本很高), ERNIE 依然保持了纯 GPU 显存内运行的标准自回归主干, 微调相对来说可以沿用现有架构, 适配成本相对低, 方便起锅烧火就能炼.

所以大胆预测一波, 是不是马上又要进入一个新的基模周期了?

#文心大模型 #文心55 #百度世界2026