利用Helicone提升LangChain中OpenAI API的可观察性和性能
引言
在使用OpenAI的过程中，了解API的使用情况、开销和延迟对于优化和调试至关重要。Helicone是一款开源的可观察性平台，通过代理你的OpenAI流量，提供关键的使用洞察。本文将介绍如何在LangChain环境中集成Helicone，开启缓存功能并使用自定义属性。
主要内容
快速开始
要在LangChain环境中快速上手Helicone，只需设置以下参数：
export OPENAI_API_BASE="https://oai.hconeai.com/v1"
接下来，访问Helicone官网创建你的账户，并在控制面板中添加你的OpenAI API密钥以查看日志。
如何开启Helicone缓存
Helicone的缓存功能可以大幅提升API请求的响应速度。以下是一个实现示例：
from langchain_openai import OpenAI
import openai
# 使用API代理服务提高访问稳定性
openai.api_base = "https://oai.hconeai.com/v1"
# 实例化OpenAI对象并开启缓存
llm = OpenAI(temperature=0.9, headers={"Helicone-Cache-Enabled": "true"})
text = "What is a helicone?"
print(llm.invoke(text))
如何使用Helicone自定义属性
自定义属性可以帮助你更好地分类和追踪API调用。以下是一个示例：
from langchain_openai import OpenAI
import openai
# 使用API代理服务提高访问稳定性
openai.api_base = "https://oai.hconeai.com/v1"
# 实例化OpenAI对象并添加自定义属性
llm = OpenAI(temperature=0.9, headers={
"Helicone-Property-Session": "24",
"Helicone-Property-Conversation": "support_issue_2",
"Helicone-Property-App": "mobile",
})
text = "What is a helicone?"
print(llm.invoke(text))
常见问题和解决方案
网络访问问题
由于某些地区的网络限制，开发者可能需要使用API代理服务以提高访问稳定性。例如，使用 openai.api_base = "https://oai.hconeai.com/v1" 。
缓存未命中
确保在请求头中正确设置了 "Helicone-Cache-Enabled": "true" 。
自定义属性未生效
检查请求头中的自定义属性键值对是否正确拼写和设置。
总结和进一步学习资源
通过集成Helicone，可以显著提升对OpenAI API使用情况的可观察性，并通过缓存优化性能。未来可以进一步探索Helicone的高级功能，如定制化报表和告警设置。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
