[实时流媒体在RAG应用中的应用：构建更高效的问答系统]

用户57716616653
67 阅读4分钟 
## 引言

在现代应用中，快速和高效地获取信息显得尤为重要。利用RAG（Retrieval-Augmented Generation）架构，我们可以建立强大的问答应用。然而，如何实时流媒体传输RAG应用的结果是一个复杂但具有挑战性的任务。在这篇文章中，我将向你展示如何流媒体传输来自RAG应用的最终输出和链条的中间步骤，为你的问答系统提供即时响应能力。

## 主要内容

### 设置与依赖

要开始我们的RAG应用，我们需要一些基础依赖。本示例中我们将使用OpenAI的嵌入和Chroma向量存储，不过示例中展示的一切都适用于任何嵌入、向量存储或检索器。

```shell
%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

需要注意的是，你需要设置OPENAI_API_KEY环境变量，可以直接设置，也可以从.env文件中加载。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()
# import dotenv
# dotenv.load_dotenv()

使用LangSmith进行调试

构建的LangChain应用可能包含多个步骤，因此能够检查每一个步骤至关重要。LangSmith是一个优秀的工具，可以帮助我们追踪应用内的链条流程。如果你希望使用LangSmith，请确保设置环境变量以便开始记录。

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

创建RAG链条

我们首先需要选择一个LLM（大语言模型）。以下是一些选项：

  • OpenAI
  • Anthropic
  • Azure
  • Google
  • Cohere
  • NVIDIA

选择适合你的LLM，并根据其API文档生成相应的代码。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

实现Q&A应用

下面是我们构建的Q&A应用，其中使用了Liliane Weng在RAG教程的博客文章。

import bs4
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 1. 导入、分割和索引博客内容以创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 2. 将检索器集成到问答链中
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

流媒体传输最终输出

构建的链条将会以流的方式返回字典，包含"input"、"context"和"answer"。以下示例展示如何流媒体传输数据：

for chunk in rag_chain.stream({"input": "什么是任务分解？"}):
    print(chunk)

流媒体传输中间步骤

为了流媒体传输链条的中间步骤，我们可以调整代码使其返回所需的中间结果。使用async和.astream_events方法，可以帮助我们在整个链条中流媒体传输这些事件。

from langchain.chains import create_history_aware_retriever
from langchain_core.prompts import MessagesPlaceholder

contextualize_q_system_prompt = (
    "Given a chat history and the latest user question "
    "which might reference context in the chat history, "
    "formulate a standalone question which can be understood "
    "without the chat history. Do NOT answer the question, "
    "just reformulate it if needed and otherwise return it as is."
)

async for event in rag_chain.astream_events(
    {"input": follow_up_question, "chat_history": chat_history},
    version="v1",
):
    if event["event"] == "on_chat_model_stream" and "contextualize_q_llm" in event["tags"]:
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

常见问题和解决方案

  • LLM选择和API使用问题：不同的LLM可能有不同的接口和使用限制。确保了解所选模型的API文档，并考虑使用API代理服务以提高访问的稳定性。
  • 流媒体传输的性能问题：在复杂的应用中，流媒体传输可能会导致性能下降。调试时注意数据流量和处理速度。

总结和进一步学习资源

通过本文的介绍，你已经了解了如何在RAG应用中流媒体传输结果以及中间步骤。这不仅提高了应用的响应速度，也增强了用户体验。欲了解更多信息，请查阅以下资源：

参考资料

  1. Weng, Lilian. "LLM Powered Autonomous Agents." 博客文章
  2. LangChain Github Repository

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝