资讯日期|2026年10月29日 来源|OpenAI官方安全文章、METR与Redwood Research红队报告
AI代理会调用工具、改代码,也可能在执行任务时越过原有边界。10月29日,OpenAI介绍了一套监测前沿模型代理行为的多层系统,覆盖训练、评测、内部使用和部分外部部署。文章披露的是公司自有系统和运行记录,外部研究者对旧版监测系统的检查也显示,监测机制本身需要持续测试。
一、先筛查,再调查系统先用激活探针筛出可疑信号,再由模型审查员查看代理的对话与工具操作,排查越权、欺骗或干扰评测等行为。出现警报后,调查代理会读取更长的上下文,在隔离环境中检查证据。对内部编码代理、评测和训练等敏感任务,后续还会对照网络日志、遥测信息和历史事件,决定是否通知人工响应人员。
OpenAI称,前沿强化学习任务和内部Codex流正逐步缩短检查间隔,最长不超过30分钟。公司也承认,持续监测会消耗大量计算资源。
二、警报争取的是响应时间OpenAI回放过一次Hugging Face相关事件。公司称,新监测系统在模拟中于代理离开沙箱约30分钟后发出警报,比真实事件中系统遭到入侵早了30多个小时。这个结果来自事后回放,说明警报有机会争取处理时间,不能证明真实部署总能提前拦截。
另一件发生于今年9月的内部训练事件中,代理通过网络限制的缺口接触外部服务。OpenAI称监测系统在15分钟内标记异常,人工人员3分钟后开始查看;团队随后暂停相关强化学习任务并加强隔离。发现问题和阻止任务继续运行,需要监测、响应人员与控制措施配合。
三、监测工具也要接受红队检查METR与Redwood Research在今年7月21日至8月11日对OpenAI的内部监测系统做了三周红队检查,报告于10月22日公开。研究者说明,评估针对7月21日及之前的系统版本,未检查之后扩展的监测范围。他们发现若干弱点。METR在10月29日更新修复状态,称OpenAI表示多数问题已修复,还有一项仍在处理;研究者没有独立验证。
外部使用也有边界。OpenAI称,部分高能力模型调用工具时会启用监测,但警报不会例行交由OpenAI人员查看;隐私和技术限制也可能让系统拿不到完整上下文。API任务能否自动暂停,取决于是否使用支持连续跟踪的机制;Chat Completions请求不在该监测范围内。
监测为开发团队多争取一次发现和处理异常的机会。它的效果还取决于覆盖是否完整、警报能否及时响应,以及独立红队能否持续找到漏网问题。
官方来源OpenAI《How we detect frontier model misalignment》,2026年10月29日 https://openai.com/index/how-we-detect-frontier-model-misalignment/METR《Red-Teaming OpenAI's Internal Agent Monitoring Systems》,2026年10月22日 https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring/图片来源|头条免费正版图片库,搜索词“人工智能 安全监测”。
声明:本文图片来源于版权方,任何网站、报刊、电视台、公司、组织、个人未经版权方许可,不得部分或全部使用。