群发资讯网

#Anthropic差点做出自我演化AI#【AI自我演进恐成现实?Anthropic招股书“埋暗雷”】#AI离自我进化还有多远#虽然市场的注意力大多集中在Anthropic最新修订后的S-1A文件中披露的财务数据上(收入飙升,但支出也同样飙升),但这家人工智能实验室在细则中又抛出了一颗小炸弹——公司已经非常接近做出具备R ​

Anthropic差点做出自我演化AI【AI自我演进恐成现实?Anthropic招股书“埋暗雷”】AI离自我进化还有多远虽然市场的注意力大多集中在Anthropic最新修订后的S-1A文件中披露的财务数据上(收入飙升,但支出也同样飙升),但这家人工智能实验室在细则中又抛出了一颗小炸弹——公司已经非常接近做出具备RSI能力的模型。

递归自我改进(RSI),是指人工智能系统以自身改进结果作为输入,不断优化自身能力并修改自身架构,形成自我改进闭环的过程,被视为实现通用人工智能(AGI)的关键路径。简单来说,就是AI系统能够在无人干预的情况下设计和开发其后续版本。

尽管RSI目前尚未实现,但随着人工智能系统在互联网上变得越来越复杂和普遍,基础模型构建者可能会失去对底层技术的控制,或者未能考虑到潜在的意外后果。包括Anthropic和OpenAI在内的多家公司此前警告称,这将使人类更容易失去对这些系统的控制。

在人工智能末日论者看来,RSI更是代表着一场无法挽回的灾难,人工智能将自身构建得足够强大,以至于超出人类的控制,并在实现目标的过程中对造成的破坏漠不关心。但对AI支持者而言,RSI将成为提高生产力、科学发现等方面的巨大工具。看Anthropic的表述,似乎介于两者之间。

看Anthropic的表述,似乎介于两者之间。该公司在上述文件中指出,其在研发中大量使用AI,但同时提醒:“用AI去帮助构建能力更强的AI,也可能带来相当大的安全风险,尤其是在它急剧加快进展速度的时候。”这类风险被纳入公司的“负责任扩展政策”(RSP)加以监控。

不过,Anthropic公司在提交的文件中也表示,目前没有任何一款模型越过这条线,并承诺在可预见的未来继续让人类参与研发过程。“我们预计,即便技术上可行,也无法在缺乏有效人工监督或理解的情况下,安全地使用Claude完全自主地设计和构建下一代前沿模型。因此,我们正在考虑更新我们的RSP,以确保人类始终掌控Anthropic前沿模型的开发。”文件称。(财联社)