这项由清华大学与蚂蚁数字科技（蚂蚁集团旗下）联合开展的研究，以预印本形式发布于2026年7月，编号为arXiv:2607.01647，有兴趣深入了解的读者可通过该编号在arXiv平台查阅完整论文。

数据科学曾经是一门需要大量人工投入的"手艺活"。数据科学家们每天面对海量杂乱的原始数据，要凭借多年积累的领域知识，反复琢磨、清洗、分析，才能从中提炼出有价值的商业洞察。然而近几年，一类新兴的AI系统——"数据智能体"——开始尝试接管这整套流程，从读取原始数据到生成分析报告，几乎不需要人工干预。

既然有这么多数据智能体涌现出来，一个自然而然的问题随之而来：这些系统到底有多能干？它们在哪些地方表现出色，又在哪些地方频频失手？要回答这个问题，就需要一套严格、全面、有说服力的"考试体系"。然而，现有的评测基准就像是一份只考语文和数学的中考试卷，遗漏了历史、地理、物理、化学……无法真正衡量一个学生的综合能力。

正是为了填补这个空白，清华大学与蚂蚁数字科技的研究团队推出了**AgenticDataBench**——一套专门用来系统评测数据智能体的综合性基准平台，并在GitHub上开源了完整的测试环境。

---

一、为什么现有的"考试卷"不够用？

现有的数据智能体评测基准，大致相当于用几道选择题来判断一个厨师的水平。它们通常只覆盖少数几类任务，任务描述过于简单，而且最终只给出一个笼统的总分，根本无从判断AI在哪道"题目"上失手了。

研究团队仔细梳理了现有基准的短板，发现主要问题集中在三个方面。第一，覆盖范围太窄：大多数基准只测试几种人工挑选的任务类型，缺乏对真实数据科学工作多样性的呈现。第二，忽略真实业务场景：学术界的公开数据集固然重要，但真实的金融、风控、营销等商业场景中的数据任务往往复杂得多，噪声更多、规模更大、逻辑更曲折。第三，评分粒度太粗：只知道AI最终对了还是错了，却不知道它在哪个步骤卡壳，就好比老师只知道学生考了60分，却不知道他是加减法不会还是应用题读不懂。

与现有基准相比，AgenticDataBench在几乎所有维度上都有显著提升。它覆盖433个精细化的技能标签（现有最强竞争者DataSciBench只有281个），每道题平均对应113.6行解题代码（远超其他基准），每道题平均涉及493.4MB的数据量（是其他基准的数倍乃至数十倍），而且包含了来自真实金融科技公司生产环境的商业数据任务——这在同类基准中极为罕见。

---

二、"技能地图"：把数据科学拆解成433个可测试的能力单元

AgenticDataBench的核心创新之一，是引入了"数据科学技能"这个概念。可以把它理解为一张能力地图，把数据科学家在工作中反复用到的各种操作模式，系统地整理成一个个可以独立测试的能力单元。

这张地图的构建来源非常扎实——研究团队从程序员问答社区Stack Overflow上收集了6510个高质量的数据科学任务与解答，然后让AI模型把每个解题过程拆解成一步一步的操作描述。这个过程产生了接近三万条细粒度的"技能使用记录"。

但这三万条记录有个明显问题：太多了，而且重复严重。就像一个厨师的烹饪笔记里，"切洋葱"这个动作出现了五百次，描述方式各有不同，本质上却是同一件事。直接拿来建考题，既浪费又低效。

为了解决这个问题，研究团队设计了一套"层次化技能提取"流程，分四个步骤把这三万条记录浓缩成433个代表性技能。

第一步是基础提取：用AI模型把每个解题步骤转化成结构化的技能描述，确保每一步对应一个清晰的操作意图，并且所有步骤合在一起能完整还原原始解法。

第二步是语义聚类：把所有技能描述转化成数学向量（用的是Qwen3-Embedding这套先进的文本嵌入模型），然后用降维和软聚类算法把语义相近的技能归到一组。所谓"软聚类"，就是允许一个技能同时归属于多个上层技能，就像"炒菜"这个动作既属于"中餐烹饪"也属于"家常烹饪"。

第三步是AI辅助精炼：由于纯数学的相似度计算有时候会把本质不同的技能归在一起，研究团队进一步用语言模型来审查每个聚类，把混在一起的不同技能拆开，把真正重复的技能合并，形成更清晰的层次结构。

第四步是专家校正：针对技能层次中出现的"过于笼统"问题——比如某个技能的定义宽泛到可以包含另一个技能，导致两者不应该并列出现——研究团队通过语法分析和人工审核，把过于宽泛的技能替换成更具体的子技能，最终由数据科学领域专家进行最后审核，确保这433个顶层技能覆盖面全、定义清晰、互不重叠、贴近实战。

这433个技能被归纳为七大类别，构成一个完整的能力图谱。数据格式处理类包括文件读写、格式解析、批量文件操作等基础能力；数据预处理类涵盖数据清洗、类型转换、缺失值填充、特征工程等常见数据准备工作；数据操控类包含数据重组、过滤筛选、排序合并等结构化操作；数据分析类则聚焦于统计计算、模式挖掘、相关性分析、时间序列分析等洞察性操作；数据建模类包括模型设计、训练调参、效果评估和部署上线；数据可视化类负责图表创建和视觉呈现；跨阶段技能类则是贯穿整个流程的通用能力，如SQL数据库操作、并行计算、错误处理和算法优化。

---

三、344道"真题"：如何从现实世界打捞出最有代表性的考题？

有了能力地图，接下来就要设计考题。AgenticDataBench的344道任务来自两个截然不同的来源，处理方式也各有讲究。

第一批任务来自蚂蚁集团真实的B2B生产环境。蚂蚁集团旗下5个业务单元的30位领域专家，花了超过600人·时，从真实业务实践中精心筛选出600个代表性任务。这些任务覆盖商业银行、消费金融、互联网金融、保险、汽车、航空、手机制造和零售等多个行业，场景包括探索性分析、建模、运营支持等，数据特点是噪声多、分布长尾、可能存在特征穿越等真实业务痛点。

600道候选题显然太多，而且其中很多题目高度相似——就像600道数学练习题里，有100道都是"两位数加两位数"的变体。研究团队用技能地图来衡量每道题的"知识含量"，选出那些能覆盖尽量多样技能的题目。这个选择问题本质上是数学中著名的"集合覆盖问题"，已知是计算上的难题，但可以用贪心算法来近似求解：每次从剩余候选中选出能新增最多未覆盖技能的那道题，反复迭代，直到所有技能都被覆盖。最终从600道候选题中精选出102道，经过人工专家再次打磨、设计评分函数、审核隐私合规性，形成第一批基准实例。

第二批任务来自10个公开领域的58个真实数据集，包括46个Kaggle数据集、2个UCI机器学习数据集、2个Mendeley数据集，以及来自UCSD、BIRD、自然地球、纽约市出租车委员会、美国交通统计局、美国国立癌症研究所基因组数据中心、全球数据世界等机构的8个学术和政府数据集。选择这些数据集的标准有三条：与主流数据科学场景高度相关、数据本身具有复杂性（规模大、格式多样、内容嘈杂），以及文件之间存在可以跨表关联的灵活性。

由于这些公开数据集没有现成的配套任务，研究团队开发了一套"技能覆盖驱动的任务生成"流程，分四步从无到有地生成高质量任务。

第一步是构建技能图谱：把Stack Overflow任务解法中的技能使用顺序和蚂蚁集团真实任务中的技能使用轨迹合并起来，形成一张带权重的有向图。图中每个节点是一个技能，每条边代表两个技能经常前后相继出现的关系，节点和边的权重反映这些技能和技能组合在真实任务中出现的频率。这张图的意义在于，它记录了数据科学家在实际工作中的"操作习惯"——哪些技能经常组合使用，哪些技能通常先做哪些后做。

第二步是准备任务配料：生成每道新任务之前，系统需要准备三类素材。数据集素材从目标领域加载相应的文件；技能组合素材通过在技能图谱上随机游走来采样，起点选择通常出现在任务前10%步骤中的技能，后续每步按照边权重和节点权重的加权组合来选择下一个技能；参考示例素材则从已有任务库中检索与采样技能最相关的任务，作为生成新任务的参照。为了避免生成的任务都长得差不多，系统会动态降低已经被覆盖的技能和已经用过的参考示例的抽取概率，鼓励多样性。

第三步是用语言模型生成任务：有了数据集、技能组合和参考示例这三类素材，系统通过三个子步骤生成一道完整的任务。首先进行结构化数据画像，为每个数据文件生成包含基本信息、格式特征、字段统计、缺失值情况以及跨文件关联关系在内的完整描述，让语言模型能够真正"理解"数据。其次进行基于技能的工作流综合：先确定第一个技能对应的操作步骤，然后逐个把剩余技能插入工作流中合适的位置，每次插入后验证步骤的可操作性和依赖关系的合理性，如果验证失败则重试，多次失败则放弃该技能。最后基于工作流生成任务描述，并验证任务是否满足六条质量标准：能由工作流解决、确实需要采样的技能、描述简洁、表达清晰、操作可行、答案可验证。只有通过全部验证的任务才会被保留。

第四步是专家标注：8位专家花了960人·时对生成的任务进行全面审核，包括验证流程正确性、检查数据源是否完整、优化问题描述、评估质量、设计评分函数、实现参考解答，并进行多轮交叉验证，最终生成242道高质量基准实例。

---

四、考场规则：AgenticDataBench如何给AI打分？

有了344道题目，下一个问题是：怎么判卷？AgenticDataBench的评分体系分为两个层次，就像既看期末考试总分，又看每道题的得分明细。

整体评测流程包含四个环节。基准实例环节负责加载题目，每道题包含任务描述、数据集、参考解答、所需技能集合以及专属的评分函数。执行环境是一个Docker容器，内置了Bash、Python和数据库支持，确保每个智能体都在相同的硬件和软件条件下运行，测试结果可以公平比较。数据智能体环节让被测系统接收任务描述，根据执行反馈反复生成和运行代码，最终产出答案。排行榜环节汇总所有评分，输出各智能体的综合排名和详细分析报告。

评分函数支持五种模式，对应不同类型的输出。表格匹配模式比较预测表格和参考表格，数值列允许设置容忍阈值，非数值列要求精确匹配。建模评分模式用均方误差等统计指标衡量预测精度，并归一化到0到1之间。JSON匹配模式统计正确匹配的键值对比例。图表匹配模式同时比较图表的底层数据和视觉配置。文本匹配模式支持精确匹配和模糊匹配两种方式。

在整体评分之上，AgenticDataBench还提供技能级别的深度分析。系统让语言模型比较智能体的解法和参考解答，以标注的技能集合为候选项，结合评分信息，判断智能体在哪些具体技能上出了问题。这就像把一份作文试卷不仅给出总分，还标注出学生在"词汇运用""逻辑结构""论据充分性"等各个维度上的具体失误。

---

五、15个考场、12个考生：实验结果说明了什么？

研究团队用AgenticDataBench对12种数据智能体配置进行了系统评测，覆盖4种智能体框架（Smolagents、DA-Agent、Claude Code、CodeX）和3种语言模型（Qwen3.5-397B-A17B、Kimi-K2.5、Claude Sonnet 4.6）的所有组合。

从总体成绩来看，得分最高的三个配置是CodeX搭配Kimi-K2.5（48.8%）、Smolagents搭配Qwen3.5（47.1%）以及Smolagents搭配Claude 4.6（46.7%）。这个结果有一个耐人寻味的含义：通用型智能体框架（如CodeX）反而超过了专门为数据科学设计的DA-Agent。原因在于DA-Agent采用了较为轻量的设计，没有数据画像工具、没有数据科学专用技能模块，在面对复杂数据任务时显得力不从心；而成熟的通用框架在工程层面的打磨更充分，各种边界情况的处理更稳定。

此外，没有任何一个框架在所有15个领域都拿到最高分，每个框架都有自己擅长和不擅长的"赛道"。举个典型例子：Smolagents在营销领域表现最好，原因在于营销任务的数据文件动辄超过1GB，Smolagents采用类似Jupyter笔记本的交互式实现方式，加载一次数据可以在后续步骤中反复使用；而其他框架每个步骤都重新生成独立文件，导致反复加载大文件，在时间限制内容易超时。与此同时，DA-Agent在房产领域反而拿到了最高分，因为该领域任务需要大段代码来处理复杂的多源数据对齐和指标计算，DA-Agent一次性生成长代码块的风格恰好适配，而其他框架迭代生成小代码片段的方式在这种场景下产生了不一致的中间输出。

在语言模型的选择上，最优搭档因框架而异。Claude Sonnet 4.6在DA-Agent和Claude Code框架下表现最佳，因为它的代码质量更高、更能严格按照指令行事，比如主动用列式加载避免全表读取，减少超时风险。Qwen3.5在Smolagents框架下表现最佳，因为Kimi-K2.5和Claude 4.6有时无法适应Smolagents的特定提示格式，导致反复出现解析错误。Kimi-K2.5在CodeX框架下表现最佳，因为Qwen3.5会生成与CodeX接口不兼容的函数参数，而Claude 4.6频繁在没有完成任务的情况下提前结束。

成本与效率的权衡同样值得关注。CodeX搭配Kimi-K2.5虽然总分最高，但平均每个任务需要执行40.2步，是所有配置中最多的，且成功执行步骤的比例只有59.5%——也就是说有将近40%的步骤以失败告终。这个框架像是一位不停尝试不同方向的探索者，虽然最终成功率高，但过程中走了很多弯路。相比之下，Smolagents搭配Qwen3.5只需平均18.1步就能完成任务，每个任务花费仅0.07美元，是性价比最高的配置，堪称"少花钱多办事"的代表。Claude Sonnet 4.6在各个框架下的token消耗都显著高于开源模型，但并不总是能带来同等比例的性能提升，尤其是Smolagents搭配Claude 4.6的组合，成本是Smolagents搭配Qwen3.5的约24倍，却只多了约0.4个百分点的分数。

---

六、"病历单"：技能层面的诊断结果

宏观的总分只是个开始，技能层面的分析才是AgenticDataBench真正能揭示的东西，就像一份详细的体检报告，而不是只有"健康"或"不健康"两个结论。

从七大技能类别的平均得分来看，数据格式处理和跨阶段技能的得分普遍较高，这并不奇怪，因为文件读写和基础编程操作是AI在预训练阶段接触最多的内容，所谓"熟能生巧"。数据分析类技能的得分最低，尽管它并不是被调用最频繁的技能类别，但数据验证、统计汇总、指标计算等操作的失误率最高，而且这些失误还会连锁传导到后续步骤，放大整体误差。

具体到单个技能层面，全体智能体得分最低的三个技能是"数据对齐与合并"、"直方图创建与操作"以及"文本处理与清洗"，揭示了当前AI在处理异构数据和非关系型数据时的普遍短板。

不同智能体在具体技能上的强弱也呈现出鲜明的个性。所有搭配Claude 4.6的配置都在"统计建模与不确定性"上表现突出，这说明这项能力主要由底层语言模型决定：Claude 4.6更忠实地遵循任务指令，倾向于使用成熟的Python统计包（如scipy的t分布检验、statsmodels的ARIMA）而非自己造轮子。所有DA-Agent配置在"模型训练与推断"上都表现较差，根本原因是DA-Agent固定1分钟的单步超时限制，经常在高维特征表的训练过程中被强制中断，智能体不得不退而求其次，选择更简单的模型。CodeX搭配Qwen3.5在"命令行与Shell操作"上频繁出错（如缺少引号、空格问题等语法细节），导致在旅游领域表现较弱，因为该领域任务大量依赖Shell命令处理Excel文件。

从各领域的最具挑战性技能来看，不同领域的难点各有不同，与该领域的数据特点和任务需求密切相关。金融领域最难的是"SQL优化与高级用法"，贷款风控领域最难的是"归一化与百分位计算"，营销领域最难的是"性能指标与优化"，交通领域最难的是"时间序列分析与因果关系"。这些挑战性技能的得分普遍在0.1到0.35之间，远低于整体平均水平，说明当前AI在这些领域的能力还有相当大的提升空间。

---

七、"故障分析"：AI在哪些地方最容易翻车？

研究团队把所有失败案例归纳为十类，其中七类对应七大技能类别的执行失误，另外三类是框架层面的系统性问题：全局限制超出（总步数或总时间超过上限）、单步超时（某一步骤执行时间超过单步限制）和自我修复失败（AI在收到错误反馈后无法修复问题）。

从整体分布来看，数据分析类失误占比最高，尽管它不是被调用最多的技能类别。全局限制超出、单步超时和自我修复失败三类问题的高发，在很大程度上反映了语言模型与框架之间的适配性问题——也就是说，不是AI本身能力不行，而是AI和它运行的那套工具之间"说话方式不合拍"。

不同领域的失败模式也存在显著差异。营销领域的全局限制超出和单步超时比例最高，根源在于该领域数据文件体积庞大（约1GB），反复加载消耗了大量时间。医疗领域的自我修复失败率最高，因为该领域数据格式多样（包括ARFF等非常规格式），容易触发文件解析错误，而AI往往无法自行排查解决。贷款建模领域的数据建模类失误最多，因为该领域的两张宽表结构相对简单，但特征衍生和建模过程极为复杂，对当前AI来说是很大的挑战。

研究团队还对"全局限制超出"和"单步超时"两类问题做了专项测试：把步数限制和时间限制都放宽，重新运行那些因此失败的任务。结果发现，因为全局限制而失败的任务占所有任务的比例不超过0.6%，而且放宽限制之后分数并没有显著提升——增加全局步数只是让AI在无效循环里继续转圈，增加单步超时甚至会让AI进入效率更低的推理轨迹。这说明执行预算不是主要瓶颈，问题的根源在于智能体的推理和决策能力本身。

---

说到底，AgenticDataBench做的事情，本质上是为一个正在快速发展的AI应用领域建立了一套有公信力的"质检标准"。在这套标准出现之前，不同数据智能体的评测结果很难横向比较，研究者们也缺乏一个共同的语言来讨论AI在数据科学任务上的能力边界。

这项研究揭示了一些有意思的现实：并不是专门为数据科学设计的框架就一定表现更好，通用型框架凭借更扎实的工程基础反而有竞争力；不同语言模型和不同框架之间存在明显的"兼容性"问题，搭配不当会让彼此都发挥不出应有水平；数据分析是所有数据科学任务中最容易出错的环节，而处理异构数据和非关系型数据是当前AI系统的普遍短板。

对于普通用户来说，这项研究意味着：当你在考虑使用某款AI数据分析工具时，不能只看它的总体宣传成绩，还要关注它在你实际使用场景（比如时间序列分析、大文件处理、复杂统计建模）上的具体表现。性能最强的未必是最省钱的，最便宜的也未必在你关心的那类任务上最差。

对于AI研究者来说，AgenticDataBench提供了一个可以长期追踪进展的测试平台，433个精细技能标签意味着研究者可以非常精准地定位某个改进究竟在哪类能力上起到了效果。这个工具本身就是未来数据智能体研究的基础设施。

有兴趣深入了解这项研究的读者，可以通过arXiv:2607.01647查阅完整论文，源代码和测试环境已在GitHub上以AgenticDataBench为项目名称开源。

---

Q&A

Q1：AgenticDataBench和其他数据科学评测基准有什么不同？

A：AgenticDataBench最大的区别是覆盖了433个精细的"数据科学技能"标签，每道题平均涉及493.4MB数据和113.6行代码，还包含来自真实金融科技公司生产环境的商业任务。现有基准通常只有几类人工划定的任务类型，数据规模也小得多，无法反映真实业务场景的复杂度。

Q2：AgenticDataBench测出来哪个数据智能体最厉害？

A：在12种测试配置中，CodeX搭配Kimi-K2.5总分最高（48.8%），但它也是执行步骤最多、成功率最低的配置之一。如果考虑性价比，Smolagents搭配Qwen3.5以每任务仅0.07美元的极低成本获得了47.1%的分数，是综合表现最均衡的选择。没有任何一种配置在所有15个领域都拿到最高分。

Q3：这些数据智能体目前最大的弱点是什么？

A：根据AgenticDataBench的测试结果，当前所有数据智能体最薄弱的环节是数据分析类操作（统计计算、数据验证等），以及处理异构数据和非关系型数据（如"数据对齐与合并"、"文本处理"）。此外，语言模型与框架之间的适配性问题也导致大量任务因格式不兼容或自我修复失败而无法完成。