书名：《Agent Runtime 工程化：从工具调用循环到可恢复执行系统》
作者：陈堂会
章节：第十章 Eval Harness 与 CI 回归 / 10.7 动手任务
电子版系列：查看完整目录
第十章 Eval Harness 与 CI 回归：10.7 动手任务
建立 evals/ 目录：
- 10 个文件编辑任务；
- 10 个工具调用任务；
- 10 个失败恢复任务；
- 每个任务有 fixture、prompt、expected、policy；
- CI 中运行 mock replay；
- 成功率低于阈值则失败；
- 输出报告包含成功率、平均 step、平均 token、失败类型。
系列导航
前 5 篇
- 第十章 Eval Harness 与 CI 回归：10.6 prompt A/B 与 runtime 策略对比
- 第十章 Eval Harness 与 CI 回归：10.5 flaky eval
- 第十章 Eval Harness 与 CI 回归：10.4 指标：不要只看成功率
- 第十章 Eval Harness 与 CI 回归：10.3 replay：让 trace 进入测试
- 第十章 Eval Harness 与 CI 回归：10.2 deterministic mock model
