大模型检索增强生成RAG:原理、作用与代码实战
摘要:传统大模型存在知识截止、幻觉问题,RAG(Retrieval‑Augmented Generation,检索增强生成)通过外部知识库检索+大模型生成结合的方式,低成本解决大模型知识陈旧、编造虚假信息的痛点。本文讲解RAG核心概念、作用、完整工作流程,并提供可运行简易示例代码。
一、什么是RAG
RAG,Retrieval‑Augmented Generation,检索增强生成。
简单理解:不给大模型全部塞新数据做训练/微调,而是提前把私有文档、业务资料、知识库做向量化存入向量数据库;用户提问时,先从知识库检索和问题相关的片段,把检索出来的参考文档和用户问题一起喂给大模型,让大模型基于检索到的真实资料来回答,而不是只靠模型自身的预训练知识。
对比两种方案:
- 微调Fine‑tune:修改模型权重,成本高,更新知识需要重新训练,适合学习风格、输出格式。
- RAG检索增强:不改动大模型参数,新增外部知识库,新增/修改文档直接更新向量库,适合私有业务知识、实时资料。
二、RAG的作用(解决什么问题)
- 缓解大模型幻觉:强制模型参考真实业务文档,减少模型编造不存在事实。
- 接入私有领域知识:企业内部文档、手册、知识库、聊天记录,大模型原生没有这些信息。
- 解决知识时间截止问题:大模型训练数据有时间截止,新的业务资料、最新政策,不需要重训模型。
- 降低使用成本:对比大模型微调,RAG不需要大量训练算力,文档更新简单。
- 支持溯源:回答可以附带引用文档片段,方便校验答案来源。
适用场景:企业知识库问答、智能客服、文档助手、内部系统问答机器人。
三、RAG完整工作原理
RAG分为两大阶段:离线预处理阶段(索引构建) 、在线推理阶段(问答)
阶段1:离线构建索引(只做一次,文档变更时更新)
-
文档加载:读取PDF、Markdown、txt等各类业务文档。
-
文本切分(Chunk分块) :把长文档切割成短文本块。
为什么要分块:Embedding模型有输入长度限制;块太大向量语义混杂,块太小丢失上下文。
-
向量化Embedding:调用Embedding模型,把每个文本块转为向量(数字数组,表征语义)。
-
存入向量数据库:存储文本块原始内容+对应的向量,构建向量索引。
阶段2:在线问答(用户每一次提问都执行)
- 用户输入Query问题。
- Query向量化:将用户问题使用同一个Embedding模型转为向量。
- 向量检索:在向量数据库做相似度检索,取出Top‑N个语义最匹配的文档片段。
- 构造Prompt上下文:把检索出来的参考片段、用户问题组装成提示词,约束大模型:优先使用参考资料回答,如果资料没有相关信息就如实说不知道,不要编造。
- LLM大模型生成答案:大模型接收构造好的prompt,输出回答。 6.(可选)结果溯源:返回回答同时附带引用的文档来源。
流程图文字概括:
原始文档 → 切分Chunk → Embedding向量化 → 向量库存储 用户提问 → Query向量化 → 相似度检索拿到上下文 → 组装Prompt → LLM生成回答
四、简易Python示例代码
说明:这里使用
langchain做RAG链路,使用Chroma轻量向量数据库,调用OpenAI风格接口做演示。 依赖安装
pip install langchain langchain‑openai chromadb python‑dotenv
from dotenv import load_dotenv
import os
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_chroma import Chroma
from langchain.chains import RetrievalQA
# 加载环境变量,填入你的api key和base_url
load_dotenv()
# ---------------------- 1、准备私有文档文本,模拟业务知识库 ----------------------
knowledge_text = """
RAG检索增强生成,不修改大模型权重,通过检索外部知识库来补充大模型知识。
RAG可以解决大模型幻觉、知识滞后、私有知识问答的问题。
RAG分为离线索引构建阶段和在线推理问答阶段。
离线阶段需要文档加载、文本分块、向量化、存入向量数据库。
在线阶段:问题向量化,相似度检索,拼接上下文prompt,大模型生成回答。
微调适合调整模型输出风格;RAG适合动态更新外部业务知识库。
"""
# ---------------------- 2、文档切分 Chunk ----------------------
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=200,
chunk_overlap=30, # 块之间重叠,避免上下文被切割丢失
)
text_chunks = text_splitter.split_text(knowledge_text)
# ---------------------- 3、初始化Embedding模型、向量库 ----------------------
embedding = OpenAIEmbeddings(
openai_api_key=os.getenv("OPENAI_API_KEY"),
base_url=os.getenv("OPENAI_BASE_URL")
)
# 本地持久化向量库
vector_db = Chroma.from_texts(
texts=text_chunks,
embedding=embedding,
persist_directory="./chroma_db"
)
# ---------------------- 4、构建检索器,设置返回top3相关片段 ----------------------
retriever = vector_db.as_retriever(search_kwargs={"k": 3})
# ---------------------- 5、初始化大模型,构建RAG问答链 ----------------------
llm = ChatOpenAI(
model="gpt‑3.5‑turbo",
temperature=0, # temperature=0,降低随机性,适合知识库问答
openai_api_key=os.getenv("OPENAI_API_KEY"),
base_url=os.getenv("OPENAI_BASE_URL")
)
qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True # 返回检索到的源文档,可以做溯源
)
# ---------------------- 6、执行RAG问答测试 ----------------------
def rag_ask(query: str):
result = qa_chain.invoke({"query": query})
answer = result["result"]
source_docs = result["source_documents"]
print(f"【用户提问】{query}")
print(f"【RAG回答】{answer}\n")
print("===引用的知识库片段===")
for idx, doc in enumerate(source_docs):
print(f"{idx+1}. {doc.page_content}\n")
if __name__ == "__main__":
rag_ask("RAG的工作流程是什么?")
rag_ask("RAG和微调有什么区别?")
.env文件示例:
OPENAI_API_KEY=sk‑xxxx
OPENAI_BASE_URL=https://xxx/v1
代码输出示例
【用户提问】RAG的工作流程是什么?
【RAG回答】RAG分为离线索引构建阶段和在线推理问答阶段。离线阶段需要文档加载、文本分块、向量化、存入向量数据库。在线阶段:问题向量化,相似度检索,拼接上下文prompt,大模型生成回答。
===引用的知识库片段===
1、RAG检索增强生成,不修改大模型权重,通过检索外部知识库来补充大模型知识。
2、RAG分为离线索引构建阶段和在线推理问答阶段。
离线阶段需要文档加载、文本分块、向量化、存入向量数据库。
3、在线阶段:问题向量化,相似度检索,拼接上下文prompt,大模型生成回答。
五、RAG常见关键点小结
-
分块策略直接影响效果:chunk_size、overlap需要根据文档类型调参。
-
Temperature设置:知识库问答一般设置为0,减少大模型自由发挥。
-
Prompt工程很关键:一定要加上约束提示:如果检索文档没有答案,请直接回答不知道,禁止编造信息。
参考Prompt模板示例
你是知识库问答助手,请严格根据下面参考资料回答用户问题。
如果参考资料中没有相关信息,请直接回答不知道,不要编造任何内容。
参考资料:
{context}
用户问题:{question}
回答:
- RAG不是万能的:存在检索失败(召回不到正确片段)的问题,高级RAG会增加重排Rerank、查询改写、多轮检索优化。
六、总结
RAG的核心思想:检索在先,生成在后。不改动大模型本体,借助向量检索引入外部知识,低成本落地私有知识库问答,是大模型落地企业业务最主流方案。
拓展方向:高级RAG,包含Rerank重排、Hybrid混合检索、Agent+RAG、图RAG等。