几十万张 GPU 一起训练，很怕掉线。

Meta 昨天在工程博客里讲了 Prometheus 集群，就是训练 Muse 系列（包括 Muse Wonder）的那个。

📌 集群现在什么样
• 在俄亥俄州 New Albany，第一期已经建成
• 现在有几十万张 GPU，目标约 100 万张
• 「吉瓦级」是规划规模，不是现在的用电

📌 中断降了多少（Meta 自报）
• 2025 年年中高峰时，每 8000 张 GPU 每天将近 1000 次中断，一年降了 99%
• 目标是每 8000 张 GPU 每天 2 次，约 10 万 GPU 小时一次
• 训练 Muse Wonder 时，平均约 47k GPU 小时中断一次，修固件等之后提到 54K 以上
• 注意 GPU 小时是所有卡加起来算的，不是一台机器连续跑这么久

📌 真正在干活的时间
预训练的 goodput（真正在推进训练的时间占比）超过 85%，强化学习超过 90%。

📌 硬件
Catalina（GB200 NVL72）、Clemente（GB300 NVL72），下一代是 San Miguel（Vera Rubin NVL72）。

⚠️ 这些都是 Meta 在自家博客里报的数字。

我的看法：大家总盯着卡有多少，其实卡多了以后能不能稳定跑，才决定训练快不快。

你觉得算力竞争接下来比的是卡多，还是跑得稳？

#AI资讯 #Meta #GPU #算力 #数据中心 #AI工具 #ai #人工智能 #大模型 #AI学习