--- theme: juejin --- > 大家好，我是大圣，一个致力于使用AI工具和技术将自己打造为超级个体的程序员 > > 文章首发于掘金：未经作者（微信ID：nmbbAI666）允许，禁止转载 ## 一、引言本文会手把手教你如何部署本地大模型以及搭建个人知识库，使用到的工具和软件有 - Ollama - Open WebUI - Docker - AnythingLLM 本文主要分享三点 - 如何用Ollama在本地运行大模型 - 使用现代Web UI和本地大模型"聊天" - 如何打造完全本地化的知识库：Local RAG 读完本文，你会学习到 - 如何使用最好用的软件Ollama部署本地大模型 - 通过搭建本地的聊天软件，了解ChatGPT的信息是如何流转的 - RAG的概念以及所用到的一些核心技术 - 如何通过AnythingLLM这款软件搭建完全本地化的数据库 ## 二、ollama的安装以及大模型下载 ### 2.1 安装ollama 官方下载地址：https://ollama.com/download

当安ollama之后，我们可以通过访问如下链接来判断ollama是否安装成功 ``` http://127.0.0.1:11434/ ```

### 2.2 使用ollama运行本地大模型当安装完成ollama之后，我们就可以在命令行中运行如下命令既可以 ``` ollama run [model name] ``` 其中[model name]就是你想运行的本地大模型的名称，如果你不知道应该选择哪个模型，可以通过[model library](https://ollama.com/library)进行查看。这里我们选择llama2大模型：[llama2](https://ollama.com/library/llama2) 考虑到我机器的配置以及不同版本的内存要求，我这里选择7b参数的模型

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9c1871f84b234abfa04bdb47b55d69e0~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=809&h=573&s=88500&e=png&b=fdfdfd)

当我们运行大模型的时候，ollama会自动帮我们下载大模型到我们本地。

## 三、通过Open WebUI使用大模型在默认的情况下，我们需要在终端中跟大模型进行交互，但是这种方法太古老了。就跟我们基本不会使用终端命令跟Mysql打交道，而是使用Navcat等客户端和Mysql进行交互。大模型也有其交互客户端，这就是Open WebUI ### 3.1 安装Open WebUI [Open WebUI](https://github.com/open-webui/open-webui?tab=readme-ov-file)是github上的一个开源项目，这里我们参考其[官方文档](https://docs.openwebui.com/getting-started/)进行下载和安装。 1. 在安装之前，我们需要先安装Docker，安装说明如下： - 如果是Win或者Mac系统，参考文档：[Docker Desktop release notes](https://docs.docker.com/desktop/release-notes/#4200)： - 注意：要下载跟自己的电脑系统适配的版本 - 例如目前的最新版本的Docker仅支持Mac OS12.0以后的系统 - 如果Linux系统，请自己上网找教程（日常都可以使用Linux系统了，安装Docker小Case！） 2. 在官方文档中我们会看到两种安装Open WebUI的方式： - ollama和open webui一起安装 - 仅仅安装open webui 由于我们已经安装了ollama，因此我们只需要安装open webui即可，复制如下命令： ``` docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ``` ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4be04431bd7544a4b6a8a9d1e2d05dd2~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=2104&h=1142&s=940937&e=png&b=000000) 当Open WebUI安装下载完成之后，我们就可以愉快的玩耍啦！ ### 3.2 使用Open WebUI 1. 首先访问如下网址 ``` http://localhost:3000/auth/ ``` 当你打开这个页面的时候，会让你登陆，这个时候我们随便使用一个邮箱注册一个账号即可 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c2398411c0a74168b8f3bb4b55a0a7e7~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=553&h=422&s=27428&e=png&b=fefefe) 2. 和本地大模型进行对话登陆成功之后，如果你已经使用过ChatGPT等类似的大模型对话网站，我相信你对这个页面并不陌生。 Open WebUI一般有两种使用方式 - 第一种是聊天对话

- 第二种是RAG能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一

如果你的要求不高的话，我们已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。相信通过这么一通折腾，你就理解了ChatGPT的信息流，至于为什么ChatGPT的访问速度比我们自己的要快，而且回答效果要好，就两个原因 - 快：是因为GPT大模型部署的服务器配置高 - 好：是因为GPT大模型的训练参数多，数据更优以及训练算法更好如果你想要更加灵活的掌握你的知识库，请接着往下看 ## 四、RAG是什么在进行本地知识库的搭建实操之前，我们需要先对**RAG**有一个大概的了解。 **因为利用** **大模型** **的能力搭建知识库本身就是一个RAG技术的应用**。以下内容会有些干，我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的，那当我们需要依靠不包含在大模型训练集中的数据时，我们该怎么做呢？实现这一点的主要方法就是通过检索增强生成RAG（Retrieval Augmented Generation）。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程： ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/191193109df947b0a75e8e846fddb375~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1912&h=542&s=298574&e=png&b=f5f8f9) - **文档加载（Document Loading）** ：从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器，包括PDF在内的非结构化的数据、SQL在内的结构化的数据，以及Python、Java之类的代码等 - **文本分割（Splitting）** ：文本分割器把Documents **切分**为指定大小的块，我把它们称为“文档块”或者“文档片” - **存储（Storage）：** 存储涉及到两个环节，分别是： - 将切分好的文档块进行嵌入（Embedding）转换成向量的形式 - 将Embedding后的向量数据存储到向量数据库 - **检索（Retrieval）** ：一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片 - **Output** **（输出）** ：把问题以及检索出来的嵌入片一起提交给LLM，LLM会通过问题和检索出来的提示一起来生成更加合理的答案 ### 4.1 文本加载器（Document Loaders）文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理 ### 4.2 文本切割器（Text Splitters）文本分割器把Documents **切分**为指定大小的块，我把它们称为“文档块”或者“文档片” 文本切割通常有以下几个原因 - 为了更好的进行**文本嵌入**以及**向量数据库**的存储 - 通常大语言模型都有上下文的限制，如果不进行切割，文本在传递给大模型的时候可能超出上下文限制导致大模型随机丢失信息文本切割器的概念是非常容易理解的，这里我们简单了解下文本切割器的工作流程 1. 将文本切割成小的，语义上有意义的块（通常是句子） 1. 开始将这些小块组成一个较大的块，直到达到某个块的大小（这个会通过某种函数测量） 1. 一旦达到该大小，就将该块作为自己的文本片段，并开始创建一个新的文本块，同时保留一些重叠（以保持块之间的上下文）。 ### 4.3 文本嵌入模型（Text Embedding models）文本嵌入模型是用来将文本转换成数值向量的工具，这些向量能够捕捉文本的语义信息，使得相似的文本在向量空间中彼此接近。这对于各种自然语言处理任务，如文本相似性比较、聚类和检索等，都是非常有用的。下面是一段对嵌入的解释词嵌入（Word Embedding）是自然语言处理和机器学习中的一个概念，**它将文字或词语转换为一系列数字，通常是一个向量**。简单地说，词嵌入就是一个为每个词分配的数字列表。这些数字不是随机的，而是捕获了这个词的含义和它在文本中的上下文。因此，语义上相似或相关的词在这个数字空间中会比较接近。 >举个例子，通过某种词嵌入技术，我们可能会得到： > >“国王” -> [1.2, 0.5, 3.1, …] > >“皇帝” -> [1.3, 0.6, 2.9, …] > >“苹果” -> [0.9, -1.2, 0.3, …] > >从这些向量中，我们可以看到“国王”和“皇帝”这两个词的向量在某种程度上是相似的，而与“苹果”这个词相比，它们的向量则相差很大，因为这两个概念在语义上是不同的。 > >词嵌入的优点是，它提供了一种将文本数据转化为计算机可以理解和处理的形式，同时保留了词语之间的语义关系。这在许多自然语言处理任务中都是非常有用的，比如文本分类、机器翻译和情感分析等。 ### 4.4 向量数据库（Vector Stores） ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0749ce97280f475e8bc33386b5b6ce39~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=4096&h=1701&s=768422&e=png&b=f0fcf2) 向量存储（Vector stores）是用于存储和检索文本嵌入向量的工具。这些向量是文本数据的数值表示，它们使得计算机能够理解和处理自然语言。向量存储对于支持复杂的搜索和检索任务至关重要，尤其是在处理大量文本数据时。向量存储的主要功能包括： - 高效地存储大量的文本向量 - 快速检索与给定向量最相似的文本向量 - 支持复杂的查询操作，如范围搜索和最近邻搜索 ### 4.5 文本检索一旦数据进入向量数据库，我们仍然需要将数据检索出来，我们会通过某种检索算法找到与输入问题相似的嵌入片。这里主要利用了大模型的能力 ## 五、本地知识库进阶如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM，这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力 - 选择文本嵌入模型 - 选择向量数据库 ### 5.1 AnythingLLM安装和配置安装地址：https://useanything.com/download 当我们安装完成之后，会进入到其配置页面，这里面主要分为三步 1. 第一步：选择大模型 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/35a9ef50a3da4ec3b3717a35ab3c6549~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1972&h=1366&s=435520&e=png&b=373b41) 2. 第二步：选择文本嵌入模型 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2c963de462d5476dabd11f84b36d2033~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=2088&h=1236&s=424200&e=png&b=373b41) 3. 第三步：选择向量数据库 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c71bb8c441b0450ea39e0b03aa74d157~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=2082&h=1218&s=376869&e=png&b=383c42) ### 5.2 构建本地知识库 AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。 1. 首先创建一个工作空间 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8b6de57568494bd6ab131fd3b7bbafa9~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1202&h=778&s=120081&e=png&b=32353b) 2. 上传文档并且在工作空间中进行文本嵌入 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a8b9773e7a32445ca032b6e52d93fc51~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=2668&h=1368&s=373071&e=png&b=34363c) 3. 选择对话模式 AnythingLLM提供了两种对话模式： - Chat模式：大模型会根据自己的训练数据和我们上传的文档数据综合给出答案 - Query模式：大模型仅仅会依靠文档中的数据给出答案 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3482d77b0d1d4025931f340748a6abf1~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=1988&h=1006&s=404150&e=png&b=32353b) 4. 测试对话当上述配置完成之后，我们就可以跟大模型进行对话了 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/90ec5bbfa8754c14b60c33e884877d64~tplv-k3u1fbpfcp-jj-mark:0:0:0:0:q75.image#?w=2520&h=1162&s=485000&e=png&b=373a40) ## 六、总结虽然对于大多数人来讲，由于我们的电脑配置等原因，部署本地大模型并且达到很好的效果是很奢侈的一件事情。但是这并不妨碍我们对其中的流程和原理进行详细的了解老规矩，如果文章对你有启发，帮忙点个赞呀！有任何问题，欢迎评论区与我交流！ > 关注我，带你一起搞AI，打造AI时代的超级个体 > > V：nmbbAI666 > > 公众号：大圣AI之旅