变换
自动缓存:OpenAI 工具结果
为 GPT 模型在工具结果块上插入显式提示词缓存断点。
行为
此变换在符合条件的工具结果内容块上插入显式的 OpenAI 提示词缓存断点。它针对支持显式缓存断点的 GPT 模型系列。
没有符合条件的工具结果块的请求原样通过。
不支持断点的上游
部分中转站用同一个 GPT 模型名对接不同后端,其中有的后端会拒绝断点字段。此类上游返回 HTTP 400,错误信息为 prompt_cache_breakpoint is not supported on this model。
Monoize 自动处理这种拒绝:
- 从请求体中删除所有
prompt_cache_breakpoint字段。 - 向同一上游重发一次请求。客户端看不到第一次失败。
- 记住该上游的 base URL 与模型,有效期一小时。一小时内首次发送前即删除该字段。
部分上游返回 HTTP 200,并把拒绝作为流的第一个事件发送。Monoize 在转发流之前先读取第一个事件,并按同样方式处理。
该记录仅保存在单个进程内存中,重启后清空。如需永久解决,请在对应 Provider 上关闭此变换。
参考信息
| 属性 | 值 |
|---|---|
| 类型 ID | cache_openai_tool_use |
| 阶段 | request |
| 范围 | Provider, 全局, API 密钥 |
适用场景
- 智能体客户端在支持显式断点的 OpenAI 兼容上游上运行工具循环。
- 你希望工具循环的前缀在迭代之间保持缓存。
配置
此变换没有配置项。config 使用空对象。
示例规则
{
"transform": "cache_openai_tool_use",
"enabled": true,
"phase": "request",
"models": [
"gpt-*"
],
"config": {}
}