利用RAG应用程序实现实时数据流的技巧

引言

在构建基于Retrieval-Augmented Generation（RAG）的应用程序时，流式处理结果可以显著提升用户体验。本文将介绍如何流式输出RAG应用程序的最终结果及中间步骤，帮助开发者优化应用性能。

主要内容

1. 环境设置与依赖

我们将使用OpenAI嵌入和Chroma向量存储，但这些技术可与任何嵌入、向量存储或检索器结合使用。

安装依赖

%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

配置环境变量

确保设置OPENAI_API_KEY：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

2. 构建RAG链

选择一个支持的LLM（大型语言模型）来初始化，例如OpenAI或Anthropic。

# 使用OpenAI提供的语言模型
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")  # 使用API代理服务提高访问稳定性

3. 问答应用构建

通过以下步骤构建一个简单的问答应用，并集成检索器。

import bs4
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载并索引博客内容
loader = WebBaseLoader(web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",), bs_kwargs=dict(parse_only=bs4.SoupStrainer(class_=("post-content", "post-title", "post-header"))))
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 创建问答链
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer the question. "
    "If you don't know the answer, say that you don't know. Use three sentences maximum and keep the answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages([("system", system_prompt), ("human", "{input}")])
question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

代码示例

下面的示例展示了如何流式输出最终结果：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):
        print(f"{answer_chunk}|", end="")

常见问题和解决方案

1. 网络限制

由于某些地区的网络限制，开发者应考虑使用API代理服务来提高访问稳定性。

2. 中间步骤流式处理

如果需要流式处理中间步骤，可以使用async方法处理具体事件。

async for event in rag_chain.astream_events({"input": follow_up_question, "chat_history": chat_history}, version="v1"):
    if event["event"] == "on_chat_model_stream" and "contextualize_q_llm" in event["tags"]:
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

总结和进一步学习资源

通过流式处理RAG应用的输出，不仅能提升用户体验，还能优化模型的响应速度。建议进一步阅读LangSmith文档及LangChain API参考文档以了解更多细节。

参考资料

• LangChain Documentation
• LangSmith Overview

结束语：如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---