[如何在LangChain中高效地流式处理事件]

用户955766060958
85 阅读2分钟 
# 如何在LangChain中高效地流式处理事件

## 引言

在构建复杂的AI应用时，实时处理和监控模型的操作变得至关重要。LangChain提供了一种强大的方式来流式处理事件，使开发者可以更好地跟踪和调试模型交互过程。本篇文章将揭示如何使用`astream_events()`方法来流式处理来自自定义工具的事件。

## 主要内容

### 前置条件

本文假设读者已了解以下概念：
- LangChain工具
- 自定义工具的实现
- 使用流式事件
- 如何在自定义工具中访问`RunnableConfig`

### 兼容性问题

在Python<=3.10版本中，LangChain不能自动传播配置（包括astream_events所需的回调）到子运行程序。因此，需要手动将`RunnableConfig`对象传递给子运行程序。而在Python>=3.11中，该配置会自动传播，但为了兼容旧版本，手动传递仍是一个好习惯。

### 自定义流事件工具

假设我们有一个自定义工具，它通过提示聊天模型将输入精简为10个字，然后反转输出。以下是如何定义这个工具的基本方法：

```python
# 代码演示如何使用LangChain中的模型
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.tools import tool
from langchain_core.runnables import RunnableConfig

@tool
async def special_summarization_tool_with_config(
    long_text: str, config: RunnableConfig
) -> str:
    """使用高级技术总结输入文本的工具。"""
    # 创建提示模板
    prompt = ChatPromptTemplate.from_template(
        "You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
    )

    def reverse(x: str):
        return x[::-1]

    # 创建链
    chain = prompt | model | StrOutputParser() | reverse
    # 传递"config"对象作为参数
    summary = await chain.ainvoke({"long_text": long_text}, config=config)
    return summary

使用astream_events流式处理事件

# 使用API代理服务提高访问稳定性
stream = special_summarization_tool_with_config.astream_events(
    {"long_text": LONG_TEXT}, version="v2"
)

async for event in stream:
    if event["event"] == "on_chat_model_end":
        print(event)

常见问题和解决方案

  1. 事件未触发： 如果在Python<=3.10版本中未触发事件，请确保正确传递了RunnableConfig对象。
  2. 连通性问题： 考虑到部分地区的网络限制，使用API代理服务可以提高访问稳定性。

总结和进一步学习资源

通过本文，您了解了如何在LangChain中流式处理事件，这为实时监控和调试提供了便利。建议进一步研究以下资源以加强您的知识：

参考资料

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝