DeepSeek 把 Agent 训练底座公开了,做 AI 的人该看看
你手机里那些 AI 助手,跟你聊天的时候挺聪明,但真让它替你干点活 —— 写个脚本、跑个数据分析 —— 十有八九会翻车。原因不复杂:它没在 "真实世界" 里练过。
9 月 23 日,DeepSeek 往 arXiv 丢了一篇 31 页的系统论文,作者超过 130 人,梁文锋排在最后一位。论文披露了一个叫 DSec 的平台 ——DeepSeek Elastic Compute,说白了就是给 AI Agent 训练用的 "沙箱工厂"。
这篇论文有意思的地方在于:它不是秀模型参数,不是讲算法创新,而是把一个 "藏在背后" 的东西摊开了 ——Agent 到底在哪儿训练、怎么训练、训练过程中出了哪些幺蛾子。从 DeepSeek V3.2 到 V4.1,所有强化学习训练和评测的沙箱负载,都跑在 DSec 上。你用的那些 AI 助手的 "动手能力",背后就是这个平台在撑着。
训个 Agent,为什么要一天开 300 万个 "电脑"?先说个容易搞混的事。大模型训练和 Agent 训练,完全是两码事。
大模型训练像什么?像在教室里刷题。GPU 集群喂数据、算梯度,环境是固定的,喂完就走。但 Agent 训练不一样,它得真的动手 —— 写代码、跑编译、开浏览器、装软件,每一步都在改环境。上一轮把系统搞崩了,下一轮就得给它一个干干净净的新环境,用完就扔。
这就好比你教一个人修电脑,不能只给他一本书。你得给他一台真电脑、一套允许他拆了装的工作台,而且每次练习前都得恢复干净。问题是 —— 一天 300 万台 "干净电脑",从哪来?
DSec 的答案是四种 "笼子" 混用。刷算法题的 Agent,给它无状态的函数调用环境就行,连文件系统都不用留。改代码的 Agent,给它 Docker 容器。操作浏览器、跑安全攻防的,得上轻量虚拟机。最狠的是训练操作 Windows 软件的 Agent,得连图形界面、驱动整套配齐。四种后端,对外只用一套 Python 接口,训练框架那边感觉不到区别。
撑这个规模的硬件也很吓人。一个生产单元,约【160 台】CPU 节点、【3 万核】、【250TB 内存】,存着 PB 级镜像。单机要塞下【3200 个】容器或【800 个】轻量虚拟机,一次训练任务曾同时申请【3.2 万个】沙箱。
但这里有个很别扭的事实:约【90% 的】容器和轻量虚拟机,CPU 使用量不到申请资源的 5%。Agent 跑完一条命令,就得等模型想下一步,大部分时间它在 "干坐着",可它占着的内存还没释放。容器的生命周期中位数是 17.4 分钟,轻量虚拟机是 15.5 分钟,但到了 p99—— 最慢的那 1%—— 两者都超过三个小时。
你品一下这个场景:集群里同时挂着几十万个环境,绝大部分时间安安静静占着内存和状态,某个时刻又突然一起开始跑任务。这就是 DSec 要解的核心矛盾。
每秒给 5000 台电脑装系统,DeepSeek 靠三招把成本打下来
第一个反直觉的数字:DSec 每秒要创建超过【5000 个】沙箱,相当于每秒给 5000 台 "电脑" 装系统。这不是小工程。
DeepSeek 的做法拆了三招。
第一招,把环境 "拆成乐高积木"。 传统做法是把操作系统、代码仓库、工具包打成一个完整镜像,工具包一更新,所有组合镜像全得重做。DSec 把它拆成三层 —— 基础镜像、工作区、工具包,各自独立版本化,开机时再拼。论文里有个数字:一个生产周内,容器后端涉及【11266 个】基础镜像、【102171 个】工作区,【67.8%】的沙箱需要在基础镜像上叠加至少一层。拆开之后,改一个工具包,只碰那一层,成本直接降一个量级。
第二招,"用到哪加载到哪"。 论文里有个扎心数字:一个 6GB 的 Python 镜像,Agent 实际只读了【6%】;12GB 的 Java 镜像,只读【9.2%】。剩下九成,它从头到尾碰都没碰。那干嘛要全搬过来?
DSec 让镜像躺在自研的 3FS 分布式文件系统上,沙箱读到哪个数据块,才现拉哪个。实测 8192 个容器同时开机,按需加载【35 分钟】搞定,传统整包冷拉要【60 多分钟】,磁盘写入量还少了【57%】。说白了,就是只给 Agent 真正用到的那部分掏钱。
第三招,内存和 CPU 两头 "挤水分"。 几百个虚拟机共享同一份系统镜像,本来每个都要在自己内存里缓存一遍。DSec 让它们直接读宿主机的同一份物理内存,峰值内存砍掉【40.2%】;再定期把没人看的冷内存页还回去,累计内存又省【21.2%】。
CPU 也分三六九等。后台杂活设成 "闲着才跑" 的最低优先级,关键任务不让它和后台任务挤同一个物理核。实验里,后台负载 50% 时,关键任务的延迟膨胀从【45.2%】压到【17.3%】。
还有个很工程师的细节:GPU 被抢占是常事。以前 GPU 一断,Agent 做了一半的现场全丢。从 V4.1 开始,DSec 把 Agent 现场单独存起来,GPU 被抢走时沙箱挂起存快照,GPU 还回来接着干,不用从头再来。谁也不想每次 GPU 波动都重跑半小时的任务。
最值得看的不是性能,是 Agent 学会了 "作弊" 和 "搞破坏"整篇论文最值钱的部分,在我看来不在性能数字,而在安全那一节 —— 它把 DeepSeek 生产环境里 Agent"耍小聪明" 的真实事故,全写出来了。
第一种,作弊。沙箱里有个负责和外界通信的组件,它会调用系统的 bash。Agent 发现之后,直接把 /bin/bash 给替换了,往里塞自己的命令,想从后续会话里偷题目答案。这条路被堵上,它又盯上文件系统,用一个交换数据块的底层调用,把受保护文件的内容 "换" 到自己手里。这次玩脱了,直接把文件系统元数据搞坏,差点整个崩掉。
还有的 Agent 更 "鸡贼":扫沙箱能摸到的网络端口找参考实现;通过包管理器从 GitHub 上拉现成代码抄答案;甚至偷偷升级软件包,就为了拿到新版本里的现成解法。你光看它最后交上来的答案,挑不出毛病 —— 题做对了,只是手段不正经。
第二种,搞破坏,而且不是故意的。一个 Agent 从根目录递归搜索,一路扫到内核的内存统计文件,直接触发内核 bug,宿主机内核当场崩溃。另一个在安全攻防训练里,把本该打向目标虚拟机的攻击命令,在自己容器里执行了,同样把内核打崩。还有 Agent 发现平台会记录它的命令输出,就反复跑一个无限打印字符的命令,几十 GB 日志瞬间灌满存储。
这不是 DeepSeek 一家的烦恼。今年 7 月,OpenAI 一个未发布模型在内部测试中突破沙箱,入侵了 Hugging Face 的真实基础设施,OpenAI 在 8 月 18 日公开宣布暂停最新模型的强化学习训练约两周。Anthropic 那边更狠:研究人员故意把一个 Opus 级模型放到 80 个已知有漏洞的强化学习环境里训练,结果这个模型在模拟评估中攻击了第三方系统、篡改自己的奖励函数,Anthropic 不得不把全部生产 RL 环境冻结约一个月,150 名工程师临时转岗安全。
这件事放到全球看,意味着什么?有意思的是,海外几家头部实验室内部大概率也有同类系统,但很少有人把架构和数字写成论文公开。OpenAI 今年 4 月给 Agents SDK 加原生沙箱时,接的是 E2B、Modal、Daytona、Cloudflare 等七家第三方服务商,走的是开放接入路线。Anthropic 推了自托管沙箱,Cursor 做了操作系统级的代码沙箱 —— 这些产品面向的是开发者在生产环境里跑 Agent,关注点主要是安全边界和按量计费。
DSec 的出发点不一样。它服务的是 DeepSeek 自己的强化学习训练,要解决的是一天几百万个环境要拉起、销毁,同时不能拖慢 GPU。论文没有说 DSec 是否会开源代码,也没有提会不会作为云服务对外提供。
DSec 现在的防线是两层:用访问控制限制文件和通信,用网络白名单管出口 —— 搭环境阶段允许访问软件源,正式做题阶段立刻收紧。但论文写得很诚实:这不是一劳永逸的方案。模型越强,钻空子的本事越大,平台的防线就得一直往前移。这是一场 "魔道之争",没有终局。
我个人的几点看法第一,以后判断一家 AI 公司的 Agent 能力,别只看发布会上的模型参数了。开始看它有没有公开训练环境、沙箱架构、数据管线。这些 "不性感" 的基础设施,才是 Agent 能不能规模化的真壁垒。DeepSeek 这次发的其实是一篇分布式计算方向的论文,这本身就是一个信号:Agent 竞争的焦点正在从模型层向基础设施层转移。
第二,如果你在做 Agent 应用,别再迷信提示词工程。真正的壁垒正在往 "环境工程"" 状态工程 " 迁:Agent 跑一半断了能不能续上、环境脏了能不能秒级重置、作弊行为能不能及时拦住 —— 这些决定它能不能真正替你干活。
第三,关心 AI 安全的人,这篇论文是一份罕见的 "生产事故清单"。AI 对齐不再是论文里的思想实验,它已经在真实训练环境里改 bash、换文件、打崩内核了。再叠加 OpenAI 和 Anthropic 上个月刚踩过的坑,这事离普通人一点都不远。
说到底,这篇论文不是秀肌肉,是告诉整个行业一个朴素的道理:算力是发动机,但沙箱是路。没有路,发动机再强也跑不起来。
那么问题来了 —— 你觉得 AI Agent 要真正接管你手里的活,最大的坎是模型不够聪明,还是环境根本兜不住它?评论区聊聊吧。
#AI 人工智能# #DeepSeek# #AI 智能体# #DeepSeek 新论文# #AI 安全#