群发资讯网

阶跃把 Step 5 Preview 的权重放出来了。它有 600B 总参数、每 token 激活 27B,支持最长 100 万 token 上下文,也能接收图片输入。看起来最吸引人的是“27B 激活”,但这个数字不能直接当成本地部署所需显存。 先看文件本身。Hugging Face 上的 BF16 仓库约 1.21TB,FP8 仓库约 650GB。这还只是下载 ​

阶跃把 Step 5 Preview 的权重放出来了。它有 600B 总参数、每 token 激活 27B,支持最长 100 万 token 上下文,也能接收图片输入。看起来最吸引人的是“27B 激活”,但这个数字不能直接当成本地部署所需显存。

先看文件本身。Hugging Face 上的 BF16 仓库约 1.21TB,FP8 仓库约 650GB。这还只是下载与存储体量,不是完整推理服务的显存需求。MoE 每次计算只用部分专家,能减少单次计算;服务运行时仍要考虑全部权重怎样放置、专家怎样调度,以及长上下文的 KV 缓存。把“27B 激活”理解成“按 27B 模型配一张卡就能跑”,很容易低估门槛。

所以这次开放权重,对个人开发者最直接的意义未必是今晚就能在工作站启动它。更现实的价值是:研究者和部署团队现在可以检查权重、复现推理、探索量化与分布式方案。至于普通机器能以什么速度、什么精度运行,要等具体硬件与推理框架的实测。官方给出的百万 token 是支持的窗口上限,也不等于任何百万 token 任务都能稳定完成。

我更关注阶跃为长程任务做的两层设计。第一层是模型结构:92 层的窄深架构,交替使用高效注意力与稀疏全注意力;其中 Sparse GQA 用 8 token 为一个索引块,官方称索引及 top-k 选择的成本因此降低约 8 倍。这里节省的是这一部分的开销,不能直接说整次推理快了 8 倍。

第二层是训练方式。官方技术博客说,深层训练遇到数值不稳定和梯度尖峰,因此在隐藏状态、归一化参数的关键位置保留 FP32,并采用细粒度梯度裁剪。它还把上下文压缩放进长程 Agent 的策略训练:当上下文快满时,让模型整理可恢复的任务状态,再继续执行。这个方向要解决的不是“能塞进多少字”,而是任务做久了以后能不能接着做。

这些都是发布方披露的设计与实验,不等于第三方已经验证了实际效果。看接下来的社区复现,我会特别留意三件事:长上下文里能否准确找回早期关键信息;多轮工具调用后能否保持任务状态;部署成本能否让更多团队真正用起来。权重开放让这些问题终于可以被外部检验了。