尝鲜DeepSeek私有化部署我们在腾讯云服务器上尝试部署DeepSeek蒸馏版，服务器配置8核32G内存，用Docke

我们在腾讯云服务器上尝试部署DeepSeek蒸馏版，服务器配置8核32G内存，用Docker部署Ollama、Open-Webui、Searxng、AnythingLLM。

这些都是什么东西呢？我一个个来解释下，首先在Ollama容器内部署蒸馏版deepseek-r1:1.5b，就是说deepseek是运行在ollama环境中，deepseek有两个版本r1和v3，分别代表深度思考模型和日常通用模型。而我们常用1.5b、7b分别代表15亿个参数和70亿个参数的模型，当然越大对服务器要求越高，能力越强。

Open-Webui是接入deepseek的网页，我们就可以在网页上同deepseek对话了，不然只能在命令行中对话。但是经过测试网页版反应很慢，命令行中反应很快就答复了，不知道原因。

有了上面Ollama和Open-Webui部署完成后其实就可以正常聊天了，那Searxng和AnythingLLM的作用是什么呢？

Searxng的作用是提供给deepseek联网搜索的能力，因为deepseek是不具备联网搜索能力的，就是用Searxng对接各种搜索引擎，提供赋予实时搜索能力，比如你们今天天气怎么样，今天几号，如果不联网那就找不到答案。

AnythingLLM的作用是给deepseek继续训练的能力，将 PDF、Markdown、Word 等多格式文件索引进系统，将本地文档或数据源整合进一个可检索、可对话的知识库，这样就不断学习训练了专业领域内的知识库，为了让AI能力与时俱进不断增强，那就需要持续维护扩大知识库。

安装Docker

### 设置国内镜像
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
      -e 's|^#baseurl=http://mirror.centos.org|baseurl=http://mirrors.aliyun.com|g' \
      -i.bak \
      /etc/yum.repos.d/CentOS-*.repo
          
# 清理缓存
yum makecache

# 配置 docker-ce 国内 yum 源（阿里云）
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装工具库
yum install -y yum-utils

#安装 docker
yum install -y docker-ce docker-ce-cli containerd.io

#启动
systemctl enable docker
systemctl start docker

安装Ollama和DeepSeek

国外镜像都基本访问不了，都要靠国内代理，我已经把Ollama放到的腾讯云公开镜像仓库中，可以直接使用还很快 ccr.ccs.tencentyun.com/rootegg/public:ollama-20250212，后面要最新可以用ghcr.io/open-webui/open-webui:main

# 运行ollama容器并挂载11434端口到宿主机
docker run -d --name ollama -p 11434:11434 ccr.ccs.tencentyun.com/rootegg/public:ollama-20250212

# 上面ollama容器启动后，进入容器去运行deepseek模型
docker exec -it ollama bash

# 后面已经进入容器后，看到这里没有运行任何模型，这句执行后是空的
ollama list

# 运行deepseek-r1:1.5b这个模型，也可以用7b
ollama run deepseek-r1:1.5b

最后下载很慢很慢很慢很慢很慢很慢很慢很慢，我大概下载完用了两个小时

命令行测试

这里测试1+1等于几，速度很快就响应了，但是后面安装Open-Webui回答就很慢，估计Open-Webui有问题，还是命令行反应最快

Ollama官网

可以到ollama官网ollama.com/search?q=de… 看到deepseek-r1和deepseek-v3两个模型，r1我们做实验一般选择1.5b或7b，有条件的可以用7b

安装Open-Webui，这一步可忽略

同样用我最新公开镜像 ccr.ccs.tencentyun.com/rootegg/public:open-webui-20250212

注意这里设置环境变量HF_ENDPOINT，必须设置为 hf-mirror.com ，否则依然会报错，等10多分钟启动成功直到容器状态变成healthy

注意刚开始我看docker ps状态显示unhealthy，我一直以为有问题，重装多次都是unhealthy，但是其实没有问题了，大概等待10几分钟后就变成healthy成功了

# 安装Open-Webui
docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 300:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ccr.ccs.tencentyun.com/rootegg/public:open-webui-20250212

访问访问3000端口就可以使用deepseek了，登录进去后会等待几分钟是白板，我有以为出问题了，但是看有个 models接口返回很慢，等几分钟就可以对话了