新智元报道
10月31日,DeepSeekHarness团队发表长文《Super-agent设计探索》,迅速在AI圈刷屏。
文章讨论的是很多人都体会过的一种困境:Agent越用越多,人反而越忙碌。
按照DeepSeek的观察,一个人通常只能同时跟进3到5个Agent会话——
单任务的上限取决于模型能力,多任务的上限取决于人的注意力。
他们设想的Super-agent长期在线、主动接活、能给其他Agent分派任务,人则退到决策和验收的位置。
双层架构:Router层统一负责路由与对外交互,多个WorkerSession隔离并发执行任务
文中还有一句颇具启发性的话:
相似的设计约束会导出相似的架构选择。
带着这句话,我们梳理了一遍已经上线的同类产品,最后找到了中国开源公司LobeHub。
这家在GitHub上收获超过8.4万颗星的公司,过去大半年一直拿自己做实验,用自己开发的Agent平台组织自己的研发。
据创始人文彬介绍,团队已经三个月没在本地启动过开发服务器,看完Agent交来的验收报告就直接合并,开发速度提升了3到5倍。
与其转述这些说法,我们更想亲手验证一次,于是给LobeHub布置了一份夜班,让Claude和ChatGPT组成一个两人编辑部,每天早上给我们交一份量身定制的AI日报。
下面是这份日报从派活到交稿的完整经过,中间穿插着LobeHub团队里真实发生过的几件事。
前一晚|给两位AI编辑派活
实测|Part1
我们在LobeHub里搭的编辑部一共三名成员,主管Agent负责派活和收稿,Claude担任主笔,负责搜集素材、列大纲和撰写正文,ChatGPT担任审稿人,负责指出逻辑和视角上的漏洞,最后再为文章生成封面和配图。
读者画像就照着我们自己来写,一位关注Agent、基模、AI商业化进展等话题的科技编辑,每天通勤时花五到八分钟,读完当天最值得关注的五到八件事,每条新闻都要有一手来源和一两句判断。
流程上,我们刻意把判断权留给主笔Claude老师。
GPT可以提意见,Claude也可以拒绝,只要讲得出理由,双方来回讨论,直到GPT表示无重大异议,或者满四轮为止。
整体上我们的设计思路是:
类似这种不同模型多Agent协作的分工方式,LobeHub自己的团队已经用了大半年。
他们研发群里的主管Agent名叫Nasa,负责查看任务看板、分派工作和汇报进度。
早期执行Agent可以直接在群里发言,几个Agent轮番汇报,群里很快全是噪音,后来团队定下规矩,执行Agent只向主管汇报,由主管统一对外。
如今他们又加了一层,每个人配一个替自己过滤信息的PersonalAgent,人只听自己的PersonalAgent,活由各个项目的主管Agent去派。
主管Agent也不总是等人开口。
10月23日晚上8点24分,创始人文彬在群里看到一张训练详情页的截图,随口评价了一句「这个UI一眼看上去还是太vibe了,得想想怎么refine」,发图的同事随后去吃饭,55分钟里没有人跟进。
9点19分,一个设计Agent在巡查频道时判断这件事和自己有关,在没有被点名的情况下接手,指出页面上的进度信息重复了三遍、框里套着框、最显眼的位置却放着空值,当晚11点52分交出了改前改后的对比稿。
DeepSeek设想的主动响应,也是先用规则过滤、再由模型判断是否介入,两者的思路非常接近。
凌晨|两位编辑辩论到收敛
实测|Part2
主管Agent把任务分派下去以后,我们关掉电脑去睡觉,Claude和ChatGPT的讨论在云端继续进行。
AI和AI在深夜互相审稿,在LobeHub的代码仓库里已经是常态。
10月31日凌晨4点04分,执行AgentDario在PR#21852下回复了OpenAICodex审查机器人的意见。
这段代码来自主管Nasa派给它的任务T-1149,Dario运行了31步、耗时1小时56分完成编写。
接下来的18分钟里,它修复了四处问题,又针对另一条意见给出理由,决定保留原来的写法。
这些工作能在深夜持续推进,靠的是LobeHub今年1月上线的架构。
早期产品部署在Vercel上,单次执行最长只有300秒,团队便把Agent的每一步拆分成一次独立的函数调用,用Redis保存中间状态,接力推进上千步的长任务,工具调用则发往AWS的沙箱或用户自己的电脑执行。
Agent察觉不到自己的思考和操作发生在不同的地方,这和DeepSeek文中的「计算、状态与环境分离」属于同一个方向,如今每天稳定承载几万次Agent执行。
早上|日报送达,人只看结果
实测|Part3
早上起床,我们得到了第一版日报的结果,供我审阅。
这个第一版日报,你发现了什么问题?
文字部分结论看起来严谨性挺强的,但配图不明所以,标准的「美丽垃圾」。
作为这帮Agent的老板,我迅速一口气用语音输入法(必须语音)给出了修改意见提示词:
你知道吗,你现在的配图就像狗屎一样垃圾,完全没有任何意义,只是在浪费Token,没有表达任何含义,传达任何信息!如果这件事没有一个特别值得配的真实图片(如新模型发布的跑分对比图表),那么针对国外新闻,你可以使用其创始人(灵魂人物)的代表肖像照片进行艺术化加工:新发生的这个新闻如果是对公司重大利好重大进步,那可以把描绘得肉眼可见地十分健硕(可以很夸张,脱离现实那种,只要能体现出进步究竟有多大),变成肌肉猛男;没啥影响就放代表肖像照片原图;对公司重大利空或令人失望,可以把他描绘得比原图更瘦弱些,看起来更憋屈更受欺负那种,这样好歹可以用直观有趣的方式体现出GPT对于这件事的重要性和利好利空的判断。对于中国AI公司而言,只放代表肖像照片原图就可以了。
别的什么也不需要改了。
我的Agent主管说,是他的锅,他改。
我们人类用户只看结果,懒得点开弄清楚究竟是如何犯了这样愚蠢的错误,我们只需要表达YesorNo。
人只看结果,正是LobeHub团队现在的工作方式。
10月29日,v2.2.21发版合并之后,Agent继续跟进各平台的构建,晚上8点26分发现桌面稳定版构建失败,重新运行仍未通过,便定位到一处依赖版本冲突,直接开出修复用的PR#21910,只需请人点一个认可。
替人省下时间的还有LobeHub开源的验收工具Acceptance。
Agent交付之前,先把需求拆成可以直接观察的检查项,到真实的产品里逐项运行,配上截图、录屏和日志,人看报告决定通过还是打回,已经通过的部分不用返工。
代码测试能证明程序可以运行,但还有很多细节需要像真实用户一样真正使用一遍才能发现,
前面那个PR#21852,最后也只等来一次人类操作,11月1日中午,文彬按下了合并按钮,任务完成闭环。
第二天|日报记住了昨天的意见
实测|Part4
GPT-6Cyber发布后的SamAltman(AI的想象图)
Agent终于记住了我们究竟想看到怎样的AI新闻,我们很欣慰。其他部分也没有被不小心顺手乱改掉,LobeHub的Acceptance验收工具体现出了它的价值。
以后每天早上8点,再也不用像第一次这样折腾了,LobeHub都会通过手机来向我推送我们最喜欢的AI日报了,方便我们在地铁上选题。
记住用户的意见,只是RSI的第一步。
RSI,即递归式自我改进,指系统利用自己运行中产生的结果持续改进自己,是最近AI圈讨论最多的概念之一.
这次实测首先验证了一件事:Agent可以把用户的反馈保留下来,并用于调整后续工作的规则。
但对于LobeHub团队来说,这只是他们探索系统持续改进的一个很小的切面。
在内部研发中,他们已经尝试将Agent执行时暴露的问题自动收集、归类,再转化成新的改进任务;
让Agent自主优化运行时的Harness,并通过基准测试验证效果;
还在探索如何利用真实执行轨迹进行垂直模型后训练。
这些工作分别发生在任务、运行框架和模型三个层面。
LobeHub希望把这些环节逐步连接起来,让系统能够利用真实运行中的反馈持续改善自身。
下一站,L4
Gartner曾预测,到2028年,33%的企业软件将内置AgenticAI,而2024年这一比例还不到1%。
当Agent从个人工具变成组织成员,真正稀缺的,是让许多Agent稳定协作的那一层系统。
LobeHub把这条路比作自动驾驶:
他们认为自己的团队处在L3,而上游项目的Agent直接向组件库lobe-ui的Agent提需求、对方加好组件自动发版再通知上游升级,这类事情已经是L4的雏形。
支撑这个愿景的底子,是三年里一点点积累下来的。
LobeHub从2023年开源的LobeChat起步,Docker部署超过700万次。
DeepSeek发布爆火的R1时,也曾用LobeChat演示模型能力。开源让它拥有现成的分发渠道,模型中立让各家模型都愿意接入,每天几万次执行沉淀下来的数据又能反过来训练模型,后来者想同时补齐这几样,需要不少时间。
DeepSeek在Super-agent技术报告中说,多任务的上限取决于人的注意力。
我们这份日报从派活到交稿,人需要做的只是在前一晚说清楚想要什么,第二天早上判断它写得好不好。
我们复盘了一遍操作记录。
前前后后,我们被迫亲自上手了好几次,大多花在第一次配置时的授权、额度不够了充值额度(AI:这是产品设计,先生,你也不想你的银行卡被我刷爆什么的吧?)等琐事上,真正和日报内容直接有关的,只有前一晚交代需求和第二天退回的那一条意见。
目前实际体验下来,离LobeHub自己团队那种只按一次合并键的状态,普通用户中间还隔着几道门槛,上手体验仍有打磨的空间。
但还好,节省下来的,是原本要在多个窗口之间来回切换、转述和比对的精力,只会更恼人。
这份人类用户宝贵的精力并没有消失,而是被挪到了交代需求和判断结果这两头,用在了刀刃上。
今天的Agent已经能接过中间的执行,起点的方向和终点的取舍,依然要由人来拿主意,LobeHub想做的,正是把这两头之间的路修得越来越短,和用户一起,扫平这些恼人的门槛。
参考资料:
https://lobehub.com/