书名：《Agent Runtime 工程化：从工具调用循环到可恢复执行系统》
作者：陈堂会
章节：第十章 Eval Harness 与 CI 回归 / 10.2 deterministic mock model
电子版系列：查看完整目录
第十章 Eval Harness 与 CI 回归：10.2 deterministic mock model
真实模型有随机性、网络波动和供应商变化。Eval 需要两层：
第一层用 deterministic mock model 测 runtime 逻辑。它按照脚本返回固定 tool calls，用来验证 schema 校验、权限、checkpoint、trace、停止条件。
第二层用真实模型测端到端能力。它更接近用户体验，但结果会有波动，需要统计和人工抽查。
mock model 示例：
class ScriptedModel implements ModelProvider {
constructor(private events: ModelEvent[][]) {}
async *generate() {
const next = this.events.shift();
if (!next) throw new Error("No scripted response");
for (const event of next) yield event;
}
}
如果没有 mock model，你很难判断一次 eval 失败是模型变了，还是 runtime 改坏了。
