ChatGPT与大模型研究

Alex：Lewis，我注意到，随着 RAG 系统向更深层次发展，它已经不再只是一个“简单检索 + 生成”的模型。新的检索策略和范式正在不断涌现。 Lewis：没错。RAG 系统已经不再局限于传统的关

Anna：Lewis，传统机器学习模型的评估相对直接。例如，分类器或目标检测系统都有明确的对错标准。但 RAG 系统不一样，如果客户问它的表现到底怎么样，我很难给出一个确定答案。 Lewis：确实如此

Alex：在我看来，在整个 RAG 流程中，生成这一步是我们最不需要担心的。虽然它是 RAG 系统的门面，但也是我们最难控制的部分。它是最终交付给学习者的内容。由于当前大模型能力已经极强，生成任务主要

在学习了检索前处理和索引优化技术之后，Alex、Anna 和 Lewis 讨论了检索后处理技术，但 Anna 仍然有一些疑问。 图 7.1：Lewis 和 Anna 正在深入讨论检索前处理技术。 An

Lewis：前面提到的各种技术，为检索实现奠定了基础。在本节中，我们的核心重点是：如何让检索更准确。但检索不准确的原因有很多。 Anna：Lewis，你一下子就说到重点了。确实，在实际项目中，虽然我们

学完本节之前，你已经学习了如何加载数据、切分文本、生成 embedding vectors，并将这些向量存储到 vector database 中，从而成功构建出一个高效的知识库。接下来，我们将探索检

如果说 embedding 技术可以被看作文本表示学习，那么向量存储技术则涉及向量的索引、保存和查询等过程。Embeddings 负责通过编码外部信息，形成并传递“神经介质”，将输入信息转换成可以理解

Alex：Lewis，完成文本分块之后，下一步应该就是 Embedding，也就是嵌入技术。我知道，向量嵌入是现代 AI 系统的知识核心，当然也是 RAG 系统的核心。它的重要性不言而喻。 Lewis

在导入非结构化数据之后，我们需要进行文本分块，也称为文本切分。这个过程是将长文本划分为大小合适的片段，以便于嵌入、索引和存储，并提升检索准确率。 图 2.1：带有流程图的文本分块优化方法 Lewis：

无论你是使用 Coze 或 Dify 这样的低代码工具构建 RAG 系统，还是使用 LangChain 或 LlamaIndex 这样的开源框架进行编码，解析文件并读取其中的内容，都是整个嵌入、检索和

RAG从根本上改变了我们处理信息检索的方式。我们已经从关键词匹配的刚性世界,迈入了语义搜索这一更加流动和直觉化的领域。这种转变使我们能够基于概念含义来查找文档,而不仅仅依赖其中包含的特定词汇。尽管有这

RAG 可以说是把 LLM 应用于企业私有数据时，最有影响力的方法之一。在过去几年里，它已经从一种实验性技术，发展成企业构建“基于自身数据的 ChatGPT 式体验”时的标准架构模式，并且现在正快速从

到目前为止，我们主要聚焦于基于文本的 RAG。在这种 RAG 中，用于知识锚定的响应被限制在可以写成文字的内容上，而忽略了其他格式中所表示的知识，包括表格、图像、音频和视频。 现实中，企业知识存在于许

软件 agent 的定义最早出现在 20 世纪 70 年代和 80 年代的分布式 AI 与计算机科学领域。一个基础性概念是 Carl Hewitt 在 1973 年首次提出的 Actor Model，

无论你是自己构建 RAG（DIY），还是使用 RAG 平台，都需要能够衡量用户在使用 RAG 应用时看到的响应质量。这被称为 RAG evaluation，即 RAG 评估。它衡量系统找到正确文档或

在第 2 章和第 3 章中，你已经学习了关于 DIY RAG 的全部内容——从嵌入模型和向量数据库这些基础组件，到混合搜索、重排序和幻觉检测等更高级组件。第 4 章探讨了为什么把一个 DIY RAG

现在，你已经了解了一条 RAG 流水线的所有组件，包括基础组件和高级组件，因此可以很容易地搭建出一个相当不错的概念验证（POC）。对于第一个 POC 来说，通常会选择一个对组织有显著价值、但初始投入相

在第 2 章中，你已经看到了 RAG 技术栈的基础组件：文档解析、文本切分、嵌入模型和向量搜索，以及使用 LLM 为用户生成最终响应。有了这些知识，你现在应该已经能够构建端到端的 RAG 应用了，这类

在第 1 章中，我们介绍了检索增强生成的核心思想：让大语言模型能够访问外部知识，而不是只依赖它们在训练期间学到的内容。在本章中，我们将更深入地研究让 RAG 系统能够在实践中运行的技术组件。这些组件形

想象一位 AI 工程师正在为公司构建一个简单的内部支持聊天机器人。她用 GPT-5.1 这个现成的大语言模型（LLM），花了一个下午就做出了原型。早期效果看起来很惊艳：模型对话流畅，能总结长文档，甚至