
书名:《Agent Runtime 工程化:从工具调用循环到可恢复执行系统》
作者:陈堂会
章节:第十章 Eval Harness 与 CI 回归 / 10.3 replay:让 trace 进入测试
电子版系列:查看完整目录
第十章 Eval Harness 与 CI 回归:10.3 replay:让 trace 进入测试
一次线上失败,如果不能转化为 eval,它就会再次发生。建议流程:
- 从 trace 中提取用户目标、关键上下文、工具调用和失败结果;
- 去除 secret 和用户隐私;
- 固化 workspace fixture;
- 写 expected behavior;
- 加入 CI;
- 修复 runtime;
- 证明 eval 通过。
trace 到 eval 的转换,不必一开始全自动。半自动工具已经很有价值:生成 eval 草稿,让工程师审阅。
系列导航
前 5 篇
- 第十章 Eval Harness 与 CI 回归:10.2 deterministic mock model
- 第十章 Eval Harness 与 CI 回归:10.1 golden task
- 第十章 Eval Harness 与 CI 回归:导读
- 第九章 可观测与 Trace:9.7 验收标准
- 第九章 可观测与 Trace:9.6 动手任务

