1. 模型上线一周就变笨了？有人做了套 30 天回归测试：每天 90 个样本，先把 Claude Code 版本钉死
2. 「被偷偷降智」怎么证明？这个仓库在 Opus 5.5 发布当天起跑，先攒 10 天基线再说话


3. 低推理档 token 先掉 62%、分数才掉 8 分：一次把「模型变笨」拆成可检验的实验
模型「上线之后是不是被偷偷降智」这件事，吵了几个月一直靠感觉。这个叫 livenerf 的开源项目想把它变成能检验的实验：从 Claude Opus 5.5 发布的 2026-09-22 起跑，每天在同一条路径上跑 90 个样本，连续 30 天，前 10 天只攒基线、不下结论。它现在跑到第 6 天，还没有任何结论——但它的设计已经能回答一个更实际的问题：你想验证自己在用的模型有没有变，应该怎么测才不算自欺。
大模型不可复现是前提：采样参数已经取消、思考关不掉，同一个 prompt 两次结果都不一样。所以 livenerf 的思路是「让除了模型之外的一切都确定」：提示词冻结、CLI 版本钉死、评分器写死、原始日志永久保留，然后用统计方法在几千个样本上看漂移。它建在英国 AI 安全研究院的开源评测框架 Inspect 上，误差棒算法照 Anthropic 自己那篇《Adding Error Bars to Evals》来做——作者的原话是「这样就没有什么自研的东西可以吵了」。
1）面板不是随便挑的题。 2,336 道题（GPQA Diamond、MMLU-Pro、竞赛数学、AIME 2025–26）先各跑 4 次筛一遍：Opus 5.5 首答正确率约 93%，97% 的题要么「永远对」要么「永远错」，只有 78 道题属于「有时对有时错」，这 78 道组成面板。这改变什么：它测的是模型在临界难度上的稳定性，而不是再刷一遍会被训练数据污染的静态榜单。
2）先用阳性对照验证仪表能不能读数。 作者把推理档位调低再跑，看实验能不能读出差异：低档位输出 token 掉 62%、准确率掉 8.3±4.5 分；中档位 token 掉 26%、准确率掉 4.2±3.9 分。这里最重要的不是幅度，而是顺序——token 先动，分数后动。这改变什么：如果你只是「感觉它最近想得少了」，输出 token 中位数是比主观感受更早、也更容易自己采集的信号。
3）成本与可辨识边界都写明了。 作者称每天跑完整个面板约占 Max 周额度的 3.6%；一天一跑，10 天窗口能辨别约 7.5 分的准确率变化——也就是说，能抓到的是「明显变差」，抓不到小幅漂移。作者自己给了极限：把 Opus 5 换成 Opus 5.5，在 99% 置信度下都区分不出来（−3.8±6.3 分、输出 token −23%）。这改变什么：这类仪表适合「有没有系统性退化」的判断，不适合拿来给「今天是不是比昨天笨」下结论。
第一步，装评测框架。 需要 Python 3.11+ 和 uv，克隆后 `uv sync`，会装一个版本钉死的 Inspect 和 `claudecode` provider——这个 provider 把 Claude Code 的订阅路径包装成普通模型 API，所以可以用 Max 订阅跑评测、不需要 API key。
第二步，把 CLI 版本钉死。这一步不做，整件事作废。 设 `DISABLE_AUTOUPDATER=1`（同时写进 `~/.claude/settings.json` 的 env），把 `claude --version` 的输出写进 `CLAUDE_CLI_VERSION`，再把那个版本的二进制复制到自动更新器碰不到的位置（例如 `~/.local/share/livenerf/claude-<版本>`）。runner 一旦发现实际版本和记录不一致会直接拒绝运行，因为「换了一版 Claude Code」和「模型变了」在数据上长得一模一样。
第三步，只允许被测变量变化。 模型串只在订阅绑定那一处出现；将来要换成 API 口径，只需把参数改成 `--model anthropic/claude-opus-5-5`，题目和评分器一行都不用碰。
第四步，先锁协议再看数据。 面板、题目、评分器、样本丢弃规则都写在预注册文档里，跑起来之后不改；原始 `.eval` 日志永久保留，图表由日志重画，中途的偏差（例如第 5 天把预算护栏 override 掉一次）单独记录。
- 它测的是「通过 Claude Code 订阅路径提供的 Opus 5.5」，不等于原始 API 模型；作者说这恰好就是「降智传闻」真正指向的对象。 - 仓库没有声明任何 license（GitHub API 的 license 字段为空），想复用到自己项目里，先跟作者确认授权。 - 78 道题里，作者自查发现 8 个答案键看着是错的、30 道有歧义；他没有删题，只做了一次预注册的敏感性分析。 - 结论还没到：第 20 天才会出现第一行结果，第一次真正能下判断大概在 2026-10-24；因为 10 天基线还在攒。 - HN 评论区最常见的反驳是「模型没变，是人习惯了新的智能水平」。这个设计没有直接反驳它，但把它也变成了可以用数据检验的假设。 - 仓库 2026-09-22 才建，567★、7 fork、1 个未关闭 issue，规模还很小。
值得抄的是那套「把漂移变成实验」的纪律，而不是它的结论——因为现在还没有结论。对你自己的场景，最省事的落地是两件事：把生产里调用的模型版本和 harness 版本一起写进日志；把输出 token 中位数当成一条监控曲线。这两条今天就能做，不用等 10 月中的结果。