群发资讯网

评测电话智能体,别再只问“声音像不像真人”,要问它到底把事办成没有

评测电话智能体,别再只问“声音像不像真人”,要问它到底把事办成没有。现在很多语音 AI 演示,第一句话都在强调“听起来像真人”。声音自然当然重要,但对电话智能体来说,这可能是最容易让人跑偏的指标。一个声音再温柔的 Agent,如果把周六七点听成周日七点,或者对方明明拒绝了,它却回来告诉你“预约成功”,那它越像真人,风险反而越隐蔽。

PhoneAgent 的产品设计给出了另一种评测思路:先把用户目标拆成可以核对的任务字段。例如时间、地点、联系人、电话号码、人数和偏好;缺什么就继续问,准备拨号前再次确认。进入电话后,Agent 不只是维持对话,还要处理对方追问、拒绝、无人接听和条件变化。结束时返回成功、部分完成、失败或需要继续处理的结构化结果。

这意味着电话智能体至少要接受三层考试。第一层是任务理解:它有没有识别真正目标,关键字段有没有填错。第二层是过程执行:对方给出新条件时,它能否调整策略,而不是机械复读 Prompt。第三层是结果一致性:它声称完成的事情,能否被通话记录、工具调用或后端状态验证。PhoneAgent 源码里专门设计了任务状态、回执字段、失败类型、会话时间线和 sessionId、taskId、callId 等标识,就是在为这种可追踪性打基础。

学术界也越来越重视这个问题。2025 年的 TD-EVAL 指出,只看整段对话的总体评分,会漏掉中间轮次的关键错误,因此需要同时检查对话连贯性、后端知识一致性和策略合规。2026 年发布的 τ-Voice 更直接:在 278 个真实复杂任务上,受测语音 Agent 在干净条件下的任务完成率只有 31%—51%,加入噪声和多样口音后降到 26%—38%。这组结果至少提醒我们,语音模型“能聊”与 Agent“能办事”完全不是一个成熟度。

所以研发团队真正应该盯的指标,可能是字段准确率、确认覆盖率、任务完成率、错误承诺率、人工接管率、平均延迟和异常恢复率。音色自然度可以排进体验指标,但不该盖过任务正确性。电话是同步媒介,一句错话没有撤回键,必须把“是否做对”放在“是否像人”前面。

如果你对 PhoneAgent 如何理解任务、维护状态和生成回执感兴趣,可以到 GitHub 搜索“PhoneAgent”,看看它如何把一次通话变成可检查的任务链。

你认为电话 Agent 最该公开哪个指标:任务完成率、错误承诺率,还是必须转人工的比例?