Monoize
变换

自动缓存:OpenAI 工具结果

为 GPT 模型在工具结果块上插入显式提示词缓存断点。

行为

此变换在符合条件的工具结果内容块上插入显式的 OpenAI 提示词缓存断点。它针对支持显式缓存断点的 GPT 模型系列。

没有符合条件的工具结果块的请求原样通过。

不支持断点的上游

部分中转站用同一个 GPT 模型名对接不同后端,其中有的后端会拒绝断点字段。此类上游返回 HTTP 400,错误信息为 prompt_cache_breakpoint is not supported on this model。

Monoize 自动处理这种拒绝:

  1. 从请求体中删除所有 prompt_cache_breakpoint 字段。
  2. 向同一上游重发一次请求。客户端看不到第一次失败。
  3. 记住该上游的 base URL 与模型,有效期一小时。一小时内首次发送前即删除该字段。

部分上游返回 HTTP 200,并把拒绝作为流的第一个事件发送。Monoize 在转发流之前先读取第一个事件,并按同样方式处理。

该记录仅保存在单个进程内存中,重启后清空。如需永久解决,请在对应 Provider 上关闭此变换。

参考信息

属性值
类型 IDcache_openai_tool_use
阶段request
范围Provider, 全局, API 密钥

适用场景

  • 智能体客户端在支持显式断点的 OpenAI 兼容上游上运行工具循环。
  • 你希望工具循环的前缀在迭代之间保持缓存。

配置

此变换没有配置项。config 使用空对象。

示例规则

{
  "transform": "cache_openai_tool_use",
  "enabled": true,
  "phase": "request",
  "models": [
    "gpt-*"
  ],
  "config": {}
}

本页目录