DeepSeek私有化：打造私有AI问答并局域网内共享

猫林老师
1,592 阅读7分钟

DeepSeek私有化：打造专属AI问答并局域网内共享

为什么要DeepSeek私有化

说实话，如果有人跟你吹本地化如何如何好，那都是扯淡。真要用AI工具，那还得是用各大大模型官网产品是最佳的。因为你自己个人电脑的算力能比得上别人官网的服务器集群？自己部署的本地化大模型充其量算玩具。谈不上生产力工具。

那我为什么还要写这篇文章呢？仅仅是当技术分享。让大家明白大模型是如何部署起来的。并且未来可能还会分享大模型的参数调优等技术。也算是扩展一下大家对大模型技术的一些掌握。

所需工具

  • Ollama
    • 一款本地部署大模型的工具，支持多个开源大模型
  • Docker
    • 一款快速打包部署的工具。我愿称之为划时代的部署。
    • 例如：传统的web网站要想上线必须经历安装对应web服务、设置web访问路径、端口等等，而有了docker可以一键实现。
  • open-webui
    • 一款用来与大模型对话的web ui界面。有了它就可以做自己的专有大模型对话网站并共享给局域网小伙伴使用。

步骤一：Ollama安装与下载DeepSeek

  • 下载Ollama。可去官网下载：点我跳转到官网，根据自己系统选择对应的版本下载即可，如下图所示

    tips：官网直接现在比较慢，建议复制下载链接到迅雷，用迅雷下载

image.png

  • 安装Ollama（以windows为例）：双击下载好的OllamaSetup.exe，直接按Install即可。

  • 安装完成后，windows系统右下角（mac右上角状态栏）会出现一个羊驼图标，即为成功，如下图所示 image.png

  • 接下来，用Ollama部署本地大模型，打开终端：windows用户可以win+r调出运行，然后输入cmd按回车，如下图

image.png

  • 输入如下命令

    ollama run deepseek-r1:1.5b

    • 注意：这里我们下载的是DeepSeek 1.5b版本，这是DeepSeek开源的最小参数版本。

    • 为什么选它呢？因为绝大部分个人电脑其实顶天带动8b就差不多了。而实际上1.5b跟7b、8b差别并没有特别大。但即使你电脑能部署8b参数，跟官网版本671B还是有着天壤之别。所以正如本文开头说的，要想当生产力工具还得是用官网版本。那既然不管1.5b还是7b还是8b都谈不上生产力，不如就用1.5b版。用来学习部署过程绝对足够。而且好处是体积更小下载更快以及部署后占用资源更少。

  • 输入完如上命令后，即在全自动下载与部署，界面如下。此时根据每个人网速不同，可能等待的时间也不一样。建议此时可以先放在一边，自己去干别的事。

image.png

> 独家tips：这里可能会下载比较慢，或者下着下着速度就变慢了。可以用ctrl+c停止，然后重新输入上面的命令下载，能让速度持续保持较快水准。
  • 如果全部下载部署完毕此时已经可以在终端下与DeepSeek进行对话了，如下图

image.png

步骤二：安装Docker

  • 经过上面步骤一，严格意义上来讲我们已经完成了大模型的本地化部署。但此时存在几个不便的地方：

    1. 只能在终端里对话，使用体验欠佳
    2. 无法分享给局域网内小伙伴使用。比如想在宿舍内、公司内装X，这不分享出去别人咋知道我会了？这要是不能装X，学了等于没学o(￣︶￣)o

  • 所以，我们需要用一个web界面的形式来连接DeepSeek并提供对话功能。但是传统的web页面，还需要经历下载、安装依赖、启动运行等步骤才能进行分享。且不同代码编写的web项目，还有不同的下载依赖和启动方式。所以有没有一种可以一键部署就能实现功能的工具呢？有，就是Docker

  • 首先，来到官网下载：点我打开官网下载地址，选择对应自己计算机的版本下载即可。（同样注意：使用迅雷下载，否则很慢）

  • 然后进行安装

    • 如果是windows系统，则需要开启Hyper-V（自行百度），如果装过鸿蒙模拟器的，都有开启此功能。

  • 安装步骤：双击安装文件，直接点ok即可，如下图

image.png

  • 注意：安装完后，默认是没有启动docker服务的，需要自行去桌面双击启动docker，如下图

image.png

  • 第一次启动会有个欢迎页面，点Accept即可，然后会让你登录以及选择身份，都点skip跳过即可，如下二图

image.png

image.png

  • 此时启动成功后，看到桌面右下角有鲸鱼图标即可

步骤三：安装并使用open-webui

  • 打开任意终端，输入如下命令，即可一键下载、部署、启动服务

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

  • 注意：因为下载的镜像大约有5个多g，所以需要稍微等待一下（好在这个命令也只要执行一次，以后需要启动服务，只需要重新打开docker-desktop即可）

  • 最终，下载安装完如下图

image.png

  • 此时去浏览器输入：http://localhost:3000，得到如下界面

image.png

  • 点击开始使用，创建管理员账号（重要），以后凭此账号可以管理这个平台，比如用户注册、用户权限等，界面如下图

image.png

  • 创建好后，即进入到首页，我们此时就可以进行对话了，如下图

image.png

步骤四：webui开启注册以及Ollama允许跨域

  • 此时我们的web界面仅能自己使用，要想给其他人使用我们还需要做开启用户注册、允许跨域等设置。

  • 因此我们先对网站进行开启用户注册的设置，如下图进入到管理员设置

image.png

  • 当前open-webui默认情况下是不允许用户注册，我们可以来打开用户注册。并且，默认情况下用户注册的账号是待激活状态无法立即使用，需要管理员审核改用户组后才可使用，我们也设置为注册即审核通过，如下图设置

image.png

  • 这里仅讲解演示此设置，其他设置可以自行摸索研究。

  • 到这一步后，一个AI大模型的web站算是基本完成了，但此时局域网内小伙伴还是无法使用。为什么呢？因为其他小伙伴访问你网站时需要对你电脑上部署的Ollama发送请求调用DeepSeek，但熟悉web的同学都知道，web请求有跨域问题，默认情况下Ollama是不允许跨域的，因此我们还需要解决跨域

  • Ollama允许跨域是通过设置系统环境变量实现的，这里以windows为例

    1. 打开windows环境变量设置，win + r打开运行窗口后输入如下命令按回车

      rundll32 sysdm.cpl,EditEnvironmentVariables

    2. 在用户环境变量一栏里，点击新建，在变量名处输入OLLAMA_HOST，变量值输入：0.0.0.0:11434，点击确定，如下图

image.png

3.  然后同样的方法，再新建一个用户环境变量，变量名为：`OLLAMA_ORIGINS`，值为`*`

4.  最后界面如下，点击确定即可

image.png

  • 到此，你的专属大模型终于可以分享给其他人使用了。把自己的内网ip + 3000 端口发给局域网的小伙伴们，即可让小伙伴访问

    查询内网ip可以在终端里输入ipconfig找到，这里我就不阐述了

  • 快，动手去试试，满足自己的分(zhuang)享(bi)欲吧！

avatar
文章
阅读
粉丝