群发资讯网

阿里在云栖大会上预告 Qwen4,并同步开源了基于 Qwen4 架构的实验性预览模型 Qwen3.8-Flash-Next。这相当于在正式版本发布前,先把下一代架构的核心改动放出来让社区验证。 新架构从四个维度做了系统性升级:注意力机制采用 GDN 与 QSA 混合设计,长上下文推理效率大幅提升;残差连接扩展为四条并行分 ​

阿里在云栖大会上预告 Qwen4,并同步开源了基于 Qwen4 架构的实验性预览模型 Qwen3.8-Flash-Next。这相当于在正式版本发布前,先把下一代架构的核心改动放出来让社区验证。

新架构从四个维度做了系统性升级:注意力机制采用 GDN 与 QSA 混合设计,长上下文推理效率大幅提升;残差连接扩展为四条并行分支并加入动态门控,支持 FP8 存储;引入 510 亿参数的 N-gram Embedding,几乎不增加计算量就能扩展模型容量;优化器切换为 Muon,配合重新拟合的缩放定律,训练成本降至 Qwen3.7-Plus 的约 1/9。

模型规格上,主模型 1250 亿参数,每 Token 仅激活 60 亿参数,原生支持 262K 上下文并可通过 YaRN 扩展至 100 万 Token。在编程和办公类任务上,表现已超过部分头部闭源模型。

完整 Qwen4 模型家族将沿用这套架构继续开发,正式发布时间尚未公布。此外,正在研发中的 QwenBook 平板计划把 Qwen3.8-Max 和 Qwen3.8-Flash 下沉到系统层,作为现阶段的端云模型基础。

阿里这次把架构创新直接开源,等于把 Qwen4 的"底牌"提前亮了一半。2026云栖大会