探索PromptLayer的强大功能：如何在LangChain中集成PromptLayerCallbackHandler

用户57716616653
72 阅读2分钟

引言

在AI和编程领域，PromptLayer提供了一种强大的工具，用于提示工程和LLM可观测性。通过与LangChain的集成，它允许开发者可视化请求、版本化提示，并跟踪使用情况。本篇文章将指导您如何设置和使用PromptLayerCallbackHandler，实现PromptLayer与LangChain的有效结合。

主要内容

安装与设置

要开始使用PromptLayer，首先确保您拥有一个PromptLayer账户，并获取API凭证。

%pip install --upgrade --quiet langchain-community promptlayer --upgrade

获取API凭证后，将其设置为环境变量：

export PROMPTLAYER_API_KEY='your_api_key_here'

使用PromptLayerCallbackHandler

PromptLayerCallbackHandler的使用相当简单，仅需两个可选参数：

  • pl_tags: 可选字符串列表，将在PromptLayer中作为标签进行跟踪。
  • pl_id_callback: 可选函数，接收promptlayer_request_id参数，用于利用PromptLayer的所有跟踪功能。

简单的OpenAI示例

以下是如何在LangChain中使用PromptLayerCallbackHandler的一个简单示例：

import promptlayer  # 不要忘记导入
from langchain_community.callbacks.promptlayer_callback import (
    PromptLayerCallbackHandler,
)
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
chat_llm = ChatOpenAI(
    temperature=0,
    callbacks=[PromptLayerCallbackHandler(pl_tags=["chatopenai"])],
)
llm_results = chat_llm.invoke(
    [
        HumanMessage(content="What comes after 1,2,3 ?"),
        HumanMessage(content="Tell me another joke?"),
    ]
)
print(llm_results)

完整示例

在这个例子中，我们演示如何解锁PromptLayer的更多功能。

from langchain_openai import OpenAI

def pl_id_callback(promptlayer_request_id):
    print("prompt layer id ", promptlayer_request_id)
    promptlayer.track.score(
        request_id=promptlayer_request_id, score=100
    )
    promptlayer.track.metadata(
        request_id=promptlayer_request_id, metadata={"foo": "bar"}
    )
    promptlayer.track.prompt(
        request_id=promptlayer_request_id,
        prompt_name="example",
        prompt_input_variables={"product": "toasters"},
        version=1,
    )

# 使用API代理服务提高访问稳定性
openai_llm = OpenAI(
    model_name="gpt-3.5-turbo-instruct",
    callbacks=[PromptLayerCallbackHandler(pl_id_callback=pl_id_callback)],
)

example_prompt = promptlayer.prompts.get("example", version=1, langchain=True)
openai_llm.invoke(example_prompt.format(product="toasters"))

常见问题和解决方案

  1. 网络访问不稳定: 在某些地区访问API时可能遇到限制，建议使用API代理服务以提高稳定性。

  2. 凭证管理: 确保环境变量正确设置并不被公开泄漏。

总结和进一步学习资源

通过本篇文章，我们了解了如何在LangChain中集成PromptLayerCallbackHandler，并充分利用PromptLayer提供的功能。为了更深入的学习，建议查阅以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝