跳到正文
原文
OpenAI News·· 2024-10-01AI 评分21

OpenAI API 推出提示缓存:对模型近期见过的输入自动打折

Prompt Caching in the API

AI 导读

OpenAI 在 API 中上线 Prompt Caching,对模型近期已处理过的输入部分自动提供折扣。该功能无需开发者额外配置,可降低重复上下文的调用成本。

来源:OpenAI News · openai.com