书名：《Agent Runtime 工程化：从工具调用循环到可恢复执行系统》
作者：陈堂会
章节：第十二章 二开毕业项目 / 12.1 方向 A：Eval Harness
电子版系列：查看完整目录
第十二章 二开毕业项目：12.1 方向 A：Eval Harness
目标：给一个开源 coding agent 或你的 mini-agent 增加 Eval Harness。
功能范围：
- 录制真实任务 trace；
- 从 trace 生成 eval case 草稿；
- 支持本地 replay；
- 输出成功率、失败类型、平均 token、平均耗时；
- CI 中设置回归门禁。
适合证明：
- 可观测；
- 评测；
- CI 回归；
- Agent 稳定性工程。
里程碑：
- 定义 eval case schema；
- 写 10 个手工 golden task；
- 实现 mock model replay；
- 接入真实模型 smoke eval；
- 输出 HTML/Markdown 报告；
- 写贡献文档。
验收：
- CI 能跑；
- 失败能定位；
- 新增一个线上失败 case 后，修复前失败、修复后通过。
系列导航
前 5 篇
- 第十二章 二开毕业项目：导读
- 第十一章 源码研读方法：11.11 验收标准
- 第十一章 源码研读方法：11.10 动手任务
- 第十一章 源码研读方法：11.9 写源码研读笔记
- 第十一章 源码研读方法：11.8 读 trace/log
