AI 系列

Retriever 常见的优化方式 上一节我们通过厂商提供的 Embedding 算法去制作匹配向量，通过 Facebook 提供的 Faiss 作为向量数据库，将数据存储到向量数据库中。

Retriever 之向量数据库 经过前面的学习，我们知道了如何对 数据进行加载和切割，接下来我们就要学习如何将数据通过 Embedding 算法转化为向量加载到向量数据库中。

Embedding 之大规模数据拆分 受限于常见 LLM 的上下文大小，例如 gpt3.5t 是 16k、gpt4t 是 128k，我们并不能把完整的数据整个塞到对话的上下文中。

Embedding 之加载数据 因为 RAG 本质是给 Chat Bot 额外挂在数据源，而数据源存在的形式是多种多样的，有可能是文件/网页/数据库/代码等等其情况。

RAG 检索增强生成的流程 RAG 其全称是 Retrieval Augmented Generation，可以被翻译成 检索增强生成技术，从标题上也能了解其核心的流程 检索 => 增强 => 生成。

OutputParser OutputParser是一个用于解析模型输出的工具类，它可以帮助用户将模型输出解析为用户需要的格式。

构建可复用的 PromptTemplate Prompt 是大模型的核心，传统的方式一般是通过字符串或者字符串模版来构建 Prompt，但是这种方式不够灵活，也不够易用。

LangChain 是一个用于开发由大型语言模型 (LLMs) 驱动的应用程序的框架。 为什么是 LangChain 因为 LLM 的 API 只是提供了一个非常基础的调用