Apple 机器学习团队 10 月 15 日发了一篇实测：把 Meta 的开放权重模型 Muse Spark Open（816B 总参数、每个 token 激活 42B）压到 4-bit（NVFP4，约 493GB），用四台 Mac Studio（M5 Ultra、512GB 统一内存）通过雷雳 5 的 RDMA 互联，在 8192 上下文下跑到 36 token/秒以上。同一篇里，单机就能跑的 Qwen 3.8 与 Mistral Medium 3.5 在 M5 Ultra 上首 token 比 M3 Ultra 快最多 4.6 倍、解码快 1.6 倍，内存带宽也从 819GB/s 提到 1.2TB/s。这篇在 HN 拿到 365 分、17 条一级评论。

第一，单机真的装不下。同样的权重用 BF16 存，光参数就要 1.6TB 以上内存；压到 4-bit 是 493GB，再加中间计算，一台 512GB 的机器仍然放不下。所以它不是「买台顶配就能跑」，而是必须两台起、按层切或按张量切。

第二，两种切法换的是不同的东西。按层切（流水线）解码速度几乎不掉，但 64K 长上下文的预填充最多快约 1.8 倍；按张量切才是把计算也分开，四台跑出 36 token/秒的就是这一种。代价是机器之间要两根雷雳线，系统要 macOS 26.2、MLX 0.30.1 以上，还要用它的 jaccl 通信后端。

第三，门槛还有电和许可证。M5 Ultra 的峰值功耗约 300W（M3 Ultra 约 200W），四台就是四份；模型的许可证是 Meta 自己的 Muse Model License，不是标准开源许可证——要显式署名「Built with Muse Spark Open」，年收入超过 2000 万美元的模型即服务还要单独和 Meta 签约。

全部是 Apple 自测，没有第三方复现；36 token/秒是 8K 上下文、单请求的条件；四台 512GB Mac Studio 的价格文章里没给；HN 评论区还指出基准不对等——Meta 的模型用 4-bit 跑，对照的 Qwen 3.8 用原生 BF16。

我的判断：数据不能出本机的团队，这条路已经从「跑不动」变成「能跑但贵」，可以按四台机器的钱加上布线、系统版本维护成本，去对云 API 的账单。多数人不必跟：只想在本地跑 Agent，27B 到 128B 的单机方案更划算；816B 这一档，现阶段是给有明确数据边界需求、又愿意为此付硬件钱的人准备的。