LangChain

本文将探讨如何利用ChatGLM3-6B和LangChain构建高效的知识库助手。将涵盖从下载大模型和向量模型、自定义LLM 类，到文件读取与处理、构建向量数据库的全过程。最后，实现检索问答链并测试

RAG全称为Retrieval-Augmented Generation，即检索增强生成，结合了检索和生成的能力，引入外部知识库为文本生成任务提供支持，增强模型生成能力，产生更丰富、准确、有根据的内容

LangChain的网络爬虫功能通过集成工具简化了网页数据的自动抓取和文本转换，支持异步加载和多种HTML到文本的转换方法，为自动化网络研究提供了强大支持。

LangChain之借助网络抓取和数据提取的云平台Apify，实现深度爬取网站内容，同时提取文本内容进行向量存储，并回答相应的问题。

从原始LLM生成结构化输出可能是非常困难的，尤其在需要特定格式时。但是LLM只需适当说明和示例，就可以快速适应提取任务。

在LangChain，其提供了SQL Chain链和SQL Agent代理，他们支持基于自然语言提示构建和运行SQL查询，以此来操作数据库，并且与SQLAlchemy支持的任何SQL版本兼容。

LangChain提供了一系列的工具箱Toolkits，它们专门针对某些任务而设计，拥有方便的加载方法。这些Toolkits可以帮助我们更高效地执行特定任务。

LangChain提供了一系列的工具箱Toolkits,它们专门针对某些任务而设计,拥有方便的加载方法。这些Toolkits 可以帮助我们更高效地执行特定任务。

在LangChain中，通常代理根据任务类型和需求通过大模型推理选择工具处理任务，LangChain传递任务输入给工具生成输出，输出再经大模型推理，作为其他工具输入或最终结果返回给用户。

在LangChain中，通常代理根据任务类型和需求通过大模型推理选择工具处理任务，LangChain传递任务输入给工具生成输出，输出再经大模型推理，作为其他工具输入或最终结果返回给用户。

在LangChain中，Agent代理就是使用语言模型作为推理引擎，让模型自主判断、调用工具和决定下一步行动。

在LangChain中，Agent代理就是使用语言模型作为推理引擎，让模型自主判断、调用工具和决定下一步行动。

大多数LLM应用都具有对话功能，如聊天机器人，记住先前的交互非常关键。对话的重要一环是能够引用之前提及的信息，这些信息需要进行存储，因此将这种存储过去交互信息的能力称为记忆 ( Memory )。

LangChain根据功能、用途的不同，提供了大量的Chain链，以下是一些Chain链的使用示例。

Chain是LangChain中非常重要的一个组件,可以帮助我们更好地组织和管理应用程序的各个功能模块,提高开发效率和应用程序的复杂性。

输出解析器负责获取 LLM 的输出并将其转换为更合适的格式。借助LangChain的输出解析器重构程序，使模型能够生成结构化回应，并可以直接解析这些回应。

语言模型的提示是用户提供的一组指令或输入，用于指导模型的响应，帮助模型理解上下文并生成相关且连贯的基于语言的输出，例如回答问题、完成句子或参与某项活动、对话。

LangChain的模型是框架中的核心，基于语言模型构建，用于开发LangChain应用。通过API调用大模型来解决问题是LangChain应用开发的关键过程。

LangChain是一个基于大语言模型用于构建端到端语言模型应用的框架，它提供了一系列工具、套件和接口，让开发者使用语言模型来实现各种复杂的任务，如文本到图像的生成、文档问答、聊天机器人等。