
书名:《Agent Runtime 工程化:从工具调用循环到可恢复执行系统》
作者:陈堂会
章节:第五章 上下文工程 / 5.1 token budget 是产品预算
电子版系列:查看完整目录
第五章 上下文工程:5.1 token budget 是产品预算
token budget 不只是技术限制,也是产品预算。一次 run 里,token 影响延迟、成本和可靠性。越长的上下文越不一定越好,因为模型注意力会被稀释,缓存命中也可能下降。
可以把上下文分为六层:
- 系统与开发者指令;
- 用户当前意图;
- 近期完整对话;
- 当前任务状态和计划;
- 代码/文档上下文;
- 工具结果和历史摘要。
不同层的保留优先级不同。用户当前意图和安全策略通常不可牺牲;旧工具日志可以摘要;大文件应当只给相关片段。

图 5-2:上下文窗口像一个有限货箱。Runtime 的责任是按优先级装载信息,而不是把所有东西一股脑塞进去。
一套可落地的预算比例可以从这里开始:
| 层级 | 建议占比 | 说明 |
|---|---|---|
| 系统、安全与开发者指令 | 8%-12% | 不要被历史挤掉 |
| 当前用户目标和约束 | 8%-12% | 保留原文,少做摘要 |
| 最近对话和运行状态 | 15%-25% | 让模型知道当前进展 |
| 代码片段和 repo map | 30%-45% | coding agent 的主要事实来源 |
| 工具结果 | 10%-20% | 失败结果优先于普通日志 |
| 历史摘要 | 5%-12% | 只保留仍影响决策的内容 |
比例不是硬规则。它的价值是让团队先有默认值,再通过 eval 调整。没有默认比例,Context Builder 很容易退化成'谁先来谁占位置'。

