[使用LangChain流式传输事件：从工具中提取实时数据]

用户331287887593
107 阅读3分钟

引言

在现代的AI应用中，流式传输事件可以让我们实时获取和处理数据。本篇文章将为你展示如何使用LangChain流式传输事件，尤其是在工具调用和自定义工具的场景中。我们将使用astream_events()方法，实现从工具中提取事件流的能力。

主要内容

1. LangChain工具简介

LangChain是一个强大的框架，用于构建链式调用的AI应用。通过使用自定义工具和内部调用的可运行对象，我们可以极大地扩展AI应用的功能。

2. 流式传输事件的必要性

流式传输事件允许我们在数据生成时实时进行处理。这对需要快速响应的应用非常关键，比如实时聊天机器人、数据监控系统等。

3. 手动传递参数和配置

在Python <= 3.10的环境中，LangChain不能自动将配置（包括回调）传递给子可运行对象。这可能导致无法从自定义可运行对象中接收事件。

4. 兼容性注意事项

在Python >= 3.11中，LangChain会自动传递RunnableConfig到异步环境中的子可运行对象。但为了兼容性考虑，仍建议手动传递该配置。

5. 实现自定义工具

假设我们有一个自定义工具，它调用一个链式结构，通过提示聊天模型返回10个字以内的摘要，然后再反转输出。以下是如何简单地定义这个工具：

from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.tools import tool

@tool
async def special_summarization_tool(long_text: str) -> str:
    """使用高级技术总结输入文本的工具。"""
    prompt = ChatPromptTemplate.from_template(
        "You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
    )

    def reverse(x: str):
        return x[::-1]

    chain = prompt | model | StrOutputParser() | reverse
    summary = await chain.ainvoke({"long_text": long_text})
    return summary

代码示例

为了获取到原始输出，我们需要使用astream_events()方法：

from langchain_core.runnables import RunnableConfig

@tool
async def special_summarization_tool_with_config(
    long_text: str, config: RunnableConfig
) -> str:
    """使用高级技术总结输入文本的工具。"""
    prompt = ChatPromptTemplate.from_template(
        "You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
    )
    
    def reverse(x: str):
        return x[::-1]

    chain = prompt | model | StrOutputParser() | reverse
    summary = await chain.ainvoke({"long_text": long_text}, config=config)
    return summary

# 使用API代理服务提高访问稳定性
stream = special_summarization_tool_with_config.astream_events(
    {"long_text": LONG_TEXT}, version="v2"
)

async for event in stream:
    if event["event"] == "on_chat_model_end":
        print(event)

常见问题和解决方案

  • 问题：在Python <= 3.10中未触发事件。
    • 解决方案：手动传递RunnableConfig对象到子可运行对象。

总结和进一步学习资源

通过上述步骤，我们实现了从工具中流式传输事件。想要深入了解更多工具的使用，可以参考以下文档：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝