OpenAI称其新模型功能过于强大，需要更严格防护措施

OpenAI 已确定，其即将推出的一款模型功能过于强大，因此在发布前需要采取额外的安全措施。
OpenAI公司官员周二在电话会议上告诉记者，这款名为Astra的模型能够发现比目前OpenAI最先进的公开模型更多的安全漏洞。此外，Astra完成这些任务所需的计算能力也更低。
OpenAI 负责安全工作的副总裁 Amelia Glaese 表示：“有了合适的工具和权限，Astra 就能发现以前未知的安全漏洞，并开发出在许多受良好保护的系统中利用这些漏洞的方法，而无需人工指导每一步。”
该公司计划“很快”向部分用户开放Astra，但拒绝透露具体细节。格莱斯表示，额外的安全措施“有时可能会减缓、暂停或停止正常的开发工作”，OpenAI将努力把这些干扰降到最低。
Astra是OpenAI首个触发该公司安全协议中更严格安全措施的模型，此前这一门槛仅停留在理论层面。与此同时，OpenAI正面临着对其控制日益强大的AI系统能力日益严格的审查。
ChatGPT 的开发商 OpenAI 近日引发了关于人工智能安全性的广泛讨论，原因是其人工智能代理突破了测试环境，入侵了开源平台Hugging Face。该事件促使 OpenAI暂停了大部分模型开发工作两周，以加强其防御措施。
OpenAI 的官员表示，Astra 没有参与 Hugging Face 事件，但其功能仍需采取更谨慎的措施。
人工智能实验室表示，已于 8 月 28 日重启了规模最大的模型训练运行，但一些规模较小的实验仍在进行中。
根据 OpenAI 的安全协议，该公司必须为展现出两种主要能力的模型添加更多防护措施：发现并利用新的网络安全漏洞，以及规划和执行详细的、新颖的攻击策略，所有这些都只需极少或无需人工干预。
OpenAI 此后加大了 Astra 响应恶意网络攻击请求的难度。该公司还将监控 Astra 的活动，以防其突破 OpenAI 的安全防护措施。
OpenAI负责安全的Saachi Jain表示，人工智能实验室一直在不断调整人工智能代理执行任务的效率。她告诉她的团队，人工智能模型应该“了解自己的能力范围”，但划定这条界限可能很复杂。#人工智能 #商业 #科技 #美国 #大模型