语音代理质量评测：从样本到验收表

评测边界与目标

评测前先明确系统要完成的任务，例如回答常见问题、查询订单或把语音内容转成可发布素材。每个任务都写清输入、预期动作、成功条件和不可接受结果。不要把不同任务混成一个总分，否则转写错误可能被最终回答掩盖。

准备时还要固定测试版本与运行条件：记录代理、识别和语音生成组件的版本或配置，音频文件及其来源，测试日期，以及网络和设备等影响因素。使用真实录音前确认授权；不便使用真实资料时，可用不含个人信息的自录样本。

音频样本覆盖

先做一张样本清单，让每条音频对应一个明确任务和可核对的标准答案。覆盖不同说话人、语速、口音或表达习惯，并加入安静环境、背景噪声、停顿、自我修正、数字与专有名词等场景。按产品实际受众调整覆盖范围，不必为了凑数量加入无关样本。

阶段记录与指标

每次运行保留同一条 sample_id，并记录实际转写、代理回复、工具调用与返回、最终业务状态。把时间字段定义为同一时钟下的时间点或明确的计时区间；例如记录用户音频结束、代理首个可听响应、工具开始与结束、任务完成的时间。由此计算首响延迟和端到端耗时，不要把两者混为一项。

1. 用固定样本和固定测试条件发起一次交互，保存原始音频与运行标识。
2. 对照参考文本，标出漏词、错词、数字或实体错误；判断错误是否改变了用户意图。
3. 检查代理是否选择了正确动作，工具参数和返回是否符合任务要求；无须工具的任务也要记录是否发生了多余调用。
4. 分别记录首响延迟、工具耗时和端到端耗时。批量测试时报告样本数及中位数、较慢分位数或超时数，并注明统计口径。
5. 按预先定义的成功条件判定任务完成、部分完成或失败，再进行人工体验评分。

可用以下记录字段建表：sample_id、run_id、版本、参考文本、识别文本、意图是否正确、工具名称与参数、工具结果、首响延迟、端到端耗时、任务状态、人工评分、失败阶段、备注。没有产生的工具调用填“不适用”，不要留空到无法区分。

评分示例与定位

假设用户说：“帮我查一下明天下午三点的预约还在不在。”参考转写与实际转写都应保留。若识别把“三点”记成“四点”，先标记识别偏差；再看代理是否把正确时间传给预约查询工具、工具是否返回匹配记录，最后核对口头答复是否准确表达查询结果。这样即使最终答错，也能定位是识别、参数传递、工具返回还是表达环节的问题。

人工评分建议使用统一的 1 至 5 分量表，并为每档写清判定规则。准确性看事实和意图是否正确；完整性看必要步骤和信息是否齐全；交互体验看是否易懂、自然、没有不必要打断或冗长等待。另设关键失败标记：涉及错误操作、错误承诺或关键实体错误时，不要让较高的语音自然度抵消风险。两位评审意见不一致时，保留分歧和复核结论，不只记录平均分。

异常排查与复测

• 转写错但代理推理正常：常见原因是噪声、专名或数字表达未覆盖。修正动作是核对音频和参考稿，将该类表达加入样本，并单独复测识别结果。
• 转写正确但工具结果错误：检查意图到工具的映射、参数格式和工具返回是否被正确解析。保存请求与返回，修正对应环节后用原样本回归。
• 任务成功但首响慢：查看排队、识别、代理处理和工具耗时的分段记录。重复运行前先确认条件一致，再定位耗时增长的阶段；不要只凭总耗时猜测瓶颈。
• 指标忽快忽慢：可能是网络、并发、设备或测试条件不一致。固定并记录这些条件，重复多次并报告样本数与统计口径，再比较结果。
• 回答正确但听感生硬或被打断：检查断句、语速、音量变化和轮次交接，记录具体时间位置与主观理由；调整后让评审按同一评分表盲听对照。

失败样本归档时保留原始音频、参考文本、运行记录、失败阶段、原因假设、修正项和复测结果。复测尽量只改一个因素，并同时运行一组未修改的基准样本，确认修复没有带来新的回归。需要扩展通用代理过程记录时，可参考GUI 代理评测中的任务与过程验收思路，再按语音链路替换记录字段。

发布前验收清单

• 样本是否覆盖目标任务、不同说话人和主要音频场景，且每条都有可复核的参考标准？
• 是否保存版本、测试条件、转写、工具调用、时间字段和最终业务结果？
• 延迟的起止点和统计口径是否统一，是否同时查看任务完成度而非只看平均速度？
• 人工评分规则是否明确，关键失败是否单独标记并复核？
• 失败样本是否记录原因、修正动作和复测结果，修复后是否检查基准样本回归？
• 音频授权、访问权限和保存范围是否符合团队要求，交付记录是否能追溯到具体运行？

当这些检查项都有记录，团队就能判断系统是否达到自己设定的上线标准，也能在问题出现时回到具体样本和处理阶段，而不是只凭最后一句回答作结论。