数据智能老司机

大多数生成式 AI 项目都始于实验，而大多数最终都没有进入生产环境。快速原型开发非常重要，尤其是当你的团队缺少完整全栈工程支持时。你需要一种 setup，让数据科学家可以构建由 RAG 驱动、真实用户

你无法改进无法衡量的东西。当你调优 retrieval parameters、调整 prompts，或者切换模型时，你需要 metrics 来告诉你这些变化是有帮助还是有损害。没有 evaluatio

Graph RAG 在基础检索之上扩展了图遍历能力，使你能够沿着实体和关系构成的网络移动，而不是只依赖孤立文本 embeddings 的语义相似度。 基础 RAG 系统会将文档拆分成 chunks，对

Agents 是一种系统，在其中 LLM 充当决策者。模型会观察当前情况，规划一系列 actions，并选择 tools 来执行这些 actions。就像人类会在火车取消时调整旅行计划一样，agent

改进 retriever step，是提升 RAG 系统准确性和相关性的最有效方式。你需要一套扎实的工具箱，来构建定制化、高效率的系统。本章介绍超越基础 vector search 的高级检索技术。图

向量数据库的受欢迎程度迅速增长，尤其是在 LLMs 兴起之后。图 6-1 展示了一些最流行的向量数据库，以及它们的发布时间。 FAISS 于 2017 年发布，随后 Milvus 和 Weaviate

Embedding models 会将文本、图像和其他内容转换为 vectors，用这些向量捕捉语义含义。在 RAG 系统中，这些 vectors 让 retriever 能够在大型非结构化集合中，搜

当把较长文本输入 RAG 系统时，预处理会把文档拆分成更小的 chunks。每个 chunk 会被转换成一个 embedding vector，用来捕捉其语义含义。在检索阶段，系统通过计算这些向量之间

大约 80% 的企业信息是非结构化的，并分散在演示文稿、文档、电子邮件和媒体文件中。图 3-1 展示了一些常见数据类型。 图 3-1：公司中常见的数据分布 本章展示如何将常见数据源转换为可以 embe