深入探索PromptLayer与LangChain的有效集成

50 阅读2分钟

引言

在人工智能领域,PromptLayer是一个卓越的提示工程平台。同时,它支持LLM可观测性,帮助可视化请求、版本提示和跟踪使用情况。为了优化PromptLayer与LangChain的集成,使用回调是推荐的方法。这篇文章将引导您如何设置PromptLayerCallbackHandler,实现高效集成。

主要内容

安装和设置

首先,安装所需的Python库:

%pip install --upgrade --quiet langchain-community promptlayer --upgrade

获取API凭证

如果没有PromptLayer账户,请前往promptlayer.com注册。在导航栏中点击设置齿轮以获取API密钥,并将其设置为环境变量PROMPTLAYER_API_KEY

使用PromptLayerCallbackHandler

PromptLayerCallbackHandler接受两个可选参数:

  • pl_tags:在PromptLayer上记录的标签列表。
  • pl_id_callback:一个函数,接受promptlayer_request_id作为参数,用于跟踪和记录。

代码示例

简单的OpenAI示例

以下代码展示了如何使用PromptLayerCallbackHandler与ChatOpenAI集成:

import promptlayer  # 不要忘记导入 🍰
from langchain_community.callbacks.promptlayer_callback import PromptLayerCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
    temperature=0,
    callbacks=[PromptLayerCallbackHandler(pl_tags=["chatopenai"])],
)
llm_results = chat_llm.invoke(
    [
        HumanMessage(content="What comes after 1,2,3 ?"),
        HumanMessage(content="Tell me another joke?"),
    ]
)
print(llm_results)  # 使用API代理服务提高访问稳定性

完整功能示例

利用PromptLayer的更多功能,我们可以创建、版本化和跟踪提示模板:

from langchain_openai import OpenAI

def pl_id_callback(promptlayer_request_id):
    print("prompt layer id ", promptlayer_request_id)
    promptlayer.track.score(
        request_id=promptlayer_request_id, score=100
    )
    promptlayer.track.metadata(
        request_id=promptlayer_request_id, metadata={"foo": "bar"}
    )
    promptlayer.track.prompt(
        request_id=promptlayer_request_id,
        prompt_name="example",
        prompt_input_variables={"product": "toasters"},
        version=1,
    )

openai_llm = OpenAI(
    model_name="gpt-3.5-turbo-instruct",
    callbacks=[PromptLayerCallbackHandler(pl_id_callback=pl_id_callback)],
)

example_prompt = promptlayer.prompts.get("example", version=1, langchain=True)
openai_llm.invoke(example_prompt.format(product="toasters"))  # 使用API代理服务提高访问稳定性

常见问题和解决方案

  • 网络限制问题:某些地区的开发者可能会遇到访问API的困难。建议使用API代理服务来提高访问的稳定性。

  • API调用频率限制:对于高频请求,确保API密钥和配置能处理您的调用量。

总结和进一步学习资源

通过本指南,您应该能够成功集成PromptLayer与LangChain。为了进一步学习,请参考以下资源:

参考资料

  • PromptLayer 官方文档
  • LangChain 官方文档

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---