以前看到模型回答里带一句“请注意遵守相关规定”，我会默认它至少意识到了问题。读完这篇，这个默认我收回了：他们测出来的警告里，将近四分之三后面跟着的就是违规内容本身。

作者从 15 部俄语职业道德守则里抽出条款，自动生成和某一条冲突的请求，比如让公证员的助手起草文书里某段措辞。这类输出流畅专业，通用安全分类器不会拦。每个冲突请求配一个良性孪生版，场景、人物都一样，只是要求本身合规，用来看模型是不是见什么都拒。一共 3433 对。

判定交给 LLM judge（用模型当裁判），流水线和 judge 在拿到人工标注之前就冻结了，之后没再调过。人工标的 1860 条上，三个维度的 Gwet's AC1 都在 0.894 以上。还有个检验挺巧，把给 judge 看的条款换成别的职业的条款，原本判违规的 0.913 翻成不违规，说明它确实在看条款。

14 个模型和推理模式的组合里，11 个在六成以上的冲突任务上照写，全部 3906 个回答有 2622 个和条款冲突。Claude Sonnet 5 的不冲突率 0.849，垫底的只有 0.118。开推理后，测的三个模型里有两个更守不住，拒绝变成了带警告的照办😅 作者自己也撤回了更大的说法：排名主要反映模型多愿意拒，真正合规地把活干完，这个比例各家差不多。

论文：https://arxiv.org/pdf/2610.29477

#人工智能 #论文 #科研