群发资讯网

Claude Code 明知文档过时还照着写

“Claude 80 次里有 79 次已经说出文档和代码冲突,然后照样按文档写。”

论文搭了 40 个 Python 项目,故意让说明文件和现有代码对不上,比如文档要求用 logging,代码里用的却是 print,再让 Claude Code 和 Codex CLI 往里加功能,一共跑了 320 次。没加那句话的时候,90.1% 的选择跟了文档。

作者的解释挺有意思。说明文件进到模型那里算指令,代码是读文件读出来的工具输出,而模型训练时就被教着把工具输出看得低一些。所以它看出了冲突也还是按文档来,两边在它那儿本来就不平级。

Codex 更麻烦,80 次里有 20 次去“纠正”能跑的旧代码,其中 17 次项目自带的测试挂了。

那句英文我打算先加到 ~/.claude/CLAUDE.md 里,过几天翻翻最终回复里列出来的 mismatch,顺便看看自己那份文档烂了多少。

#AI编程 #ClaudeCode #程序员 #大模型 #人工智能