ChatGPT与大模型研究

Generative AI 正在改变我们构建软件、分析数据和自动化决策的方式。但这种演进并不会止步于文本生成。下一个前沿是 agentic AI，也就是能够推理、规划、使用工具并采取行动来完成目标的系

大多数生成式 AI 项目都始于实验，而大多数最终都没有进入生产环境。快速原型开发非常重要，尤其是当你的团队缺少完整全栈工程支持时。你需要一种 setup，让数据科学家可以构建由 RAG 驱动、真实用户

你无法改进无法衡量的东西。当你调优 retrieval parameters、调整 prompts，或者切换模型时，你需要 metrics 来告诉你这些变化是有帮助还是有损害。没有 evaluatio

Graph RAG 在基础检索之上扩展了图遍历能力，使你能够沿着实体和关系构成的网络移动，而不是只依赖孤立文本 embeddings 的语义相似度。 基础 RAG 系统会将文档拆分成 chunks，对

Agents 是一种系统，在其中 LLM 充当决策者。模型会观察当前情况，规划一系列 actions，并选择 tools 来执行这些 actions。就像人类会在火车取消时调整旅行计划一样，agent

改进 retriever step，是提升 RAG 系统准确性和相关性的最有效方式。你需要一套扎实的工具箱，来构建定制化、高效率的系统。本章介绍超越基础 vector search 的高级检索技术。图

向量数据库的受欢迎程度迅速增长，尤其是在 LLMs 兴起之后。图 6-1 展示了一些最流行的向量数据库，以及它们的发布时间。 FAISS 于 2017 年发布，随后 Milvus 和 Weaviate

Embedding models 会将文本、图像和其他内容转换为 vectors，用这些向量捕捉语义含义。在 RAG 系统中，这些 vectors 让 retriever 能够在大型非结构化集合中，搜

当把较长文本输入 RAG 系统时，预处理会把文档拆分成更小的 chunks。每个 chunk 会被转换成一个 embedding vector，用来捕捉其语义含义。在检索阶段，系统通过计算这些向量之间

大约 80% 的企业信息是非结构化的，并分散在演示文稿、文档、电子邮件和媒体文件中。图 3-1 展示了一些常见数据类型。 图 3-1：公司中常见的数据分布 本章展示如何将常见数据源转换为可以 embe

基础模型，包括 LLMs 和多模态模型，构成了现代 RAG 系统的骨干。这些模型既用于为用户生成答案，也用于在内容被存储和检索之前对其进行准备。 在生成步骤中，基础模型会分析检索到的上下文和用户问题，

大型语言模型（LLMs）已经改变了我们处理复杂认知任务的方式——从编写生产代码，到分析财务报告，再到翻译几十种语言。互补的 foundation models 现在也能处理视觉、语音合成与识别、音频处

2017 年，我亲眼见证了一次范式转变。Google 的研究人员刚刚发布了 NASNet，这是一个完全由机器学习算法发现的神经网络架构。这个发布之所以不同寻常，并不只是因为自动化系统发现了一个新架构，

我还记得第一次在生产环境中遇到调参很差的机器学习模型。那是 2018 年，我在一家银行工作，该银行部署了一个欺诈检测系统。这个模型是一个梯度提升分类器，特征也都选对了，概念上没有问题，但性能最多只能算

我永远不会忘记那个让我真正理解糟糕数据预处理代价的项目。那是 2006 年，我正在为一家价格优化初创公司做咨询。它想用电子健康记录来预测患者再入院风险，用于一个保险定价项目。三个月后，它把 80% 的

自动化机器学习（AutoML）的承诺是具有变革性的：以最少人工干预，将原始数据转化为生产就绪的预测模型。然而，在这种优雅简洁的表象背后，隐藏着一套复杂的、相互连接的流程编排；这些流程必须协同工作，才能

正如你在第 1 章中看到的，自动化机器学习代表了人工智能领域中的一次重要范式转变。本章将追踪 AutoML 经过三个不同代际的发展过程——从早期学术实验，到今天企业级可用的平台——并考察塑造这一领域的

当我刚进入机器学习领域时，构建一个模型意味着要花上好几天，有时对于复杂问题甚至会拖到好几周，去仔细选择和创建特征、调优超参数，并尝试不同的模型架构。本章将探讨 AutoML 正在如何改变这一现实。 在

本章将深入 Milvus 的核心组件之一，也就是向量引擎 Knowhere。Knowhere 是一个专为向量数据库设计的高性能向量搜索引擎，负责处理向量数据的索引构建和搜索等关键任务。通过本章，你将理

在前几章中，我们探索了如何在 Milvus 中写入和读取数据。虽然这些流程对于实时操作非常高效，但它们也会引入底层挑战，例如 segment fragmentation，以及过时文件的积累。 本章将探