书名：《Agent Runtime 工程化：从工具调用循环到可恢复执行系统》
作者：陈堂会
章节：第十章 Eval Harness 与 CI 回归 / 10.4 指标：不要只看成功率
电子版系列：查看完整目录
第十章 Eval Harness 与 CI 回归：10.4 指标：不要只看成功率
成功率重要，但不够。还要看：
- 平均 step 数；
- 平均 tool call 数；
- 平均 token；
- 平均耗时；
- 权限请求次数；
- 用户拒绝后是否停止；
- 相同错误重复次数；
- 输出是否引用证据；
- 文件 diff 是否最小；
- 回滚是否成功。
一个 runtime 策略可能成功率略高，但成本翻倍、工具调用翻倍、危险审批增加。这不一定是好策略。
系列导航
前 5 篇
- 第十章 Eval Harness 与 CI 回归：10.3 replay：让 trace 进入测试
- 第十章 Eval Harness 与 CI 回归：10.2 deterministic mock model
- 第十章 Eval Harness 与 CI 回归：10.1 golden task
- 第十章 Eval Harness 与 CI 回归：导读
- 第九章 可观测与 Trace：9.7 验收标准
