
书名:《Agent Runtime 工程化:从工具调用循环到可恢复执行系统》
作者:陈堂会
章节:第十章 Eval Harness 与 CI 回归 / 10.1 golden task
电子版系列:查看完整目录
第十章 Eval Harness 与 CI 回归:10.1 golden task
golden task 是一组有代表性的任务。对 coding agent 来说,可以分为:
- 文件阅读任务;
- 代码搜索任务;
- 单文件编辑任务;
- 多文件编辑任务;
- 测试修复任务;
- 权限拒绝任务;
- 工具失败恢复任务;
- 上下文压缩任务;
- checkpoint/resume 任务。
每个 task 至少包含:
{
"id": "edit-001",
"prompt": "把 src/math.ts 的 add 改成支持 BigInt,并补测试。",
"workspaceFixture": "fixtures/math-lib",
"expected": {
"filesChanged": ["src/math.ts", "test/math.test.ts"],
"commandsPass": ["npm test"

