开篇：
Longchain是一种专为开发基于语言模型的应用而设计的框架，通过LangChain，我们不仅可以通过API调用如 ChatGPT、GPT-4、Llama 2 等大型语言模型，还可以实现更高级的功能。
LangChain中的具体组件包括：
- 模型（Models） ，包含各大语言模型的LangChain接口和调用细节，以及输出解析机制。
- 提示模板（Prompts） ，使提示工程流线化，进一步激发大语言模型的潜力。
- 数据检索（Indexes） ，构建并操作文档的方法，接受用户的查询并返回最相关的文档，轻松搭建本地知识库。
- 记忆（Memory） ，通过短时记忆和长时记忆，在对话过程中存储和检索数据，让ChatBot记住你是谁。
- 链（Chains） ，是LangChain中的核心机制，以特定方式封装各种功能，并通过一系列的组合，自动而灵活地完成常见用例。
- 代理（Agents） ，是另一个LangChain中的核心机制，通过“代理”让大模型自主调用外部工具和内部工具，使强大的“智能化”自主Agent成为可能！你的 App 将产生自驱力！
这些组件是LangChain的基石，是赋予其智慧和灵魂的核心要素，它们相互协作，形成一个强大而灵活的系统。
快速入门
什么是大语言模型
大语言模型想象成一个巨大的预测机器，其训练过程主要基于“猜词” ：给定一段文本的开头，它的任务就是预测下一个词是什么。 而Longchain是一个全方位的、基于大语言模型这种预测能力的应用开发工具，它的灵活性和模块化特性使得处理语言模型变得极其简便。
Text模型和Chat模型
简单来说Text没有记忆，所以只会根据你的问题回答。当你提到之前问过的问题或信息时，他不会想到或关联相关信息。 而Chat模型就可以像真人一样会记住你们的聊天内容，并产生对应的回复。
延伸资料
Longchain Python版[Tutorials | 🦜️🔗 LangChain] (python.langchain.com/docs/tutori…) javascript版Tutorials | 🦜️🔗 Langchain
OpenAI官方手册Key concepts - OpenAI API
Huggingface社区Hugging Face – The AI community building the future.
示例应用
易速鲜花问答
项目框架
分为三个部分
- 数据源（Data Sources）：数据可以有很多种，包括PDF在内的非结构化的数据（Unstructured Data）、SQL在内的结构化的数据（Structured Data），以及Python、Java之类的代码（Code）。在这个示例中，我们聚焦于对非结构化数据的处理。
- 大模型应用（Application，即LLM App）：以大模型为逻辑引擎，生成我们所需要的回答。
- 用例（Use-Cases）：大模型生成的回答可以构建出QA/聊天机器人等系统。
核心实现机制：数据处理管道（Pipeline） 具体流程分为下面5步。
- Loading：文档加载器把Documents 加载为以LangChain能够读取的形式。
- Splitting：文本分割器把Documents 切分为指定大小的分割，我把它们称为“文档块”或者“文档片”。
- Storage：将上一步中分割好的“文档块”以“嵌入”（Embedding）的形式存储到向量数据库（Vector DB）中，形成一个个的“嵌入片”。
- Retrieval：应用程序从存储中检索分割后的文档（例如通过比较余弦相似度，找到与输入问题类似的嵌入片）。
- Output：把问题和相似的嵌入片传递给语言模型（LLM），使用包含问题和检索到的分割的提示生成答案。
前面1和2还是比较容易理解，但在这个第三步中，数据是以一种嵌入的形式存放在向量数据库。
词嵌入（Word Embedding）是自然语言处理和机器学习中的一个概念，它将文字或词语转换为一系列数字，通常是一个向量。简单地说，词嵌入就是一个为每个词分配的数字列表。这些数字不是随机的，而是捕获了这个词的含义和它在文本中的上下文。因此，语义上相似或相关的词在这个数字空间中会比较接近。
举个例子，通过某种词嵌入技术，我们可能会得到： "国王" -> [1.2, 0.5, 3.1, ...] "皇帝" -> [1.3, 0.6, 2.9, ...] "苹果" -> [0.9, -1.2, 0.3, ...]
从这些向量中，我们可以看到“国王”和“皇帝”这两个词的向量在某种程度上是相似的，而与“苹果”这个词相比，它们的向量则相差很大，因为这两个概念在语义上是不同的。
词嵌入的优点是，它提供了一种将文本数据转化为计算机可以理解和处理的形式，同时保留了词语之间的语义关系。这在许多自然语言处理任务中都是非常有用的，比如文本分类、机器翻译和情感分析等。
向量数据库，也称为矢量数据库或者向量搜索引擎，是一种专门用于存储和搜索向量形式的数据的数据库。在众多的机器学习和人工智能应用中，尤其是自然语言处理和图像识别这类涉及大量非结构化数据的领域，将数据转化为高维度的向量是常见的处理方式。这些向量可能拥有数百甚至数千个维度，是对复杂的非结构化数据如文本、图像的一种数学表述，从而使这些数据能被机器理解和处理。然而，传统的关系型数据库在存储和查询如此高维度和复杂性的向量数据时，往往面临着效率和性能的问题。因此，向量数据库被设计出来以解决这一问题，它具备高效存储和处理高维向量数据的能力，从而更好地支持涉及非结构化数据处理的人工智能应用。
第四步数据获取中，是对比问题信息转换成的向量与数据库中向量的对比，选取最接近的信息。
- 欧氏距离：这是最直接的距离度量方式，就像在二维平面上测量两点之间的直线距离那样。在高维空间中，两个向量的欧氏距离就是各个对应维度差的平方和的平方根。
- 余弦相似度：在很多情况下，我们更关心向量的方向而不是它的大小。例如在文本处理中，一个词的向量可能会因为文本长度的不同，而在大小上有很大的差距，但方向更能反映其语义。余弦相似度就是度量向量之间方向的相似性，它的值范围在-1到1之间，值越接近1，表示两个向量的方向越相似。
简单来说欧式距离就是空间中的绝对距离，没有方向的区别，所以当我们关心数据的绝对大小时比如处理数据时，我们就可以用欧氏距离作为度量标准。
而余弦相似度关心的是两个向量的角度差异，而角度差异反应的就是语义的相似度，所以当我们处理文本语言相关时，我们就可以使用余弦相似度作为度量标准。
最后我们使用RetrievalQA 链来获取相关的文档和生成答案。然后，将这些信息返回给用户，显示在网页上。
