模型缓存
缓存大语言模型（LLM）调用 在测试、节省成本和提高速度方面都非常有用。
以下是一些集成方案，允许你使用不同的缓存和策略来缓存单个 LLM 调用的结果。
| Name | Description |
|---|---|
| Azure Cosmos DB NoSQL 语义缓存 | 语义缓存功能支持与 Azure Cosmos DB for NoSQL 的集成，使用户能够根据用户输入与先前缓存结果之间的语义相似性检索缓... |
缓存大语言模型（LLM）调用 在测试、节省成本和提高速度方面都非常有用。
以下是一些集成方案，允许你使用不同的缓存和策略来缓存单个 LLM 调用的结果。
| Name | Description |
|---|---|
| Azure Cosmos DB NoSQL 语义缓存 | 语义缓存功能支持与 Azure Cosmos DB for NoSQL 的集成，使用户能够根据用户输入与先前缓存结果之间的语义相似性检索缓... |