文档 - 上下文
上下文和分词数估计
每个智能体轮次堆叠六层上下文。看看每层到底装了什么以及成本多少分词数。
1. 六层
智能体上下文按顺序构建。每层单独测量。
| 层 | 它包含什么 |
|---|---|
| System | 智能体的核心身份和行为指导——在智能体创建时设置一次。 |
| Tools | 工具定义——智能体可以调用的每个工具的名称和描述。 |
| Instructions | 你写进系统提示的每轮指导——在每轮前更新。 |
| Knowledge | 你从知识库附加到智能体的所有文件——注入到提示中。 |
| History | 这个对话中所有之前的消息——随着用户和智能体交换轮次而增长。 |
| Message | 用户当前的输入——智能体即将回应的东西。 |
2. 分词数估计
每层都有分词数估计:该层在模型输入中消耗的分词数。 我们估计分词数为 ceil(字符数 ÷ 4) ——运行时用于预算的相同启发式方法。 更大的文件、更长的历史或更多工具会推高估计值。你可以在每轮看到每层的准确估计。
3. 读取快照
每轮后,上下文层快照在检查器中可用。 你可以看到每层的字符数和分词数估计,所以你知道那一轮的模型里到底装了什么。 这对调试智能体为什么没有看到某些信息,或为什么对话突然消耗更多分词数很有用。
