DeepSeek-R1 私有化部署 ubuntu22.04 3060显卡引言春节期间，最火的应该就是DeepSeek了

引言

春节期间，最火的应该就是DeepSeek了，抖音、知乎等等海外也引爆了，讨论比较多
查看网上的资料，发现DeepSeek火爆，主要有以下几个原因：
- 低成本：其研发成本仅为557万美元，极大地降低了AI模型的开发门槛。
- 开源免费：DeepSeek是开源的，全球开发者可以自由使用和测试，这吸引了大量用户。
- 减少GPU依赖：DeepSeek有效降低了大规模训练对GPU资源的依赖，推动了AI产业链的重塑。
- 国际关注：DeepSeek在国际上引起了广泛关注，尤其是在中国和美国的科技圈，被视为AI领域的“黑马”。

使用方式

方式一：官网访问
- 打开访问地址：chat.deepseek.com
- 但是不稳定，由于太火爆，服务中断比较频繁
方式二：三方平台
- 因为DeepSeek是开源的，只要有资源，公司就可以自己部署
- 以下测试可以正常使用
  - 国家超算中心：chat.scnet.cn/#/home
    - 提供了蒸馏的 7B、32B版本
  - 红衣教主周鸿祎的纳米搜索
    - 网页版本地址：www.n.cn/
    - app需要下载"纳米搜索"
      - 在2025年1月30日，升级“360专线版”为“DeepSeek-R1 满血高速专线版”
方式三：私有化部署
- 如果自己有电脑，可以本机部署。或者部署到云服务器上

私有化部署

前置条件

由于我本地部署是在linux + nvidia上，分享linux端的部署
硬件系统
- linux系统 ubuntu 22.04
- 显卡 nvidia（英伟达），熟称的N卡，我的显卡是：3060 12G显存
软件
- linux安装ollama、open-webui（可选）、docker、nvidia驱动，如果有小伙伴不会安装，可以留言，单独出一篇如何安装

部署

提示
- 我本地环境是安装了pve的主机，显卡做了直通虚拟机ubuntu上。这个和linux的物理机使用方式是一样的
  - 自己家用台式机安装linux也是一样的
  - 硬件平台：垃圾佬必备，组装价1000左右
    - 主板：华南金牌豪华大版
    - cpu：e5-2680 v2
    - 内存：不知名内存 ddr3 64G
    - 固态：七彩虹512G
    - 电源：金河田 600W
  - 系统：pve8，安装了ubuntu22.04的虚拟机，显卡直通到虚拟机中
查看软件安装情况
- docker容器
  - 在终端执行：docker ps 查看是否安装docker
  - 注意：
    - docker需要支持容器使用gpu，查看是否安装了 NVIDIA Container Toolkit
      - 验证是否安装
        
        docker run --rm --gpus all nvidia/cuda:12.4-base nvidia-smi
    - docker拉取镜像的时候，会很慢，或者直接超时，可以上网查询代理镜像配置
    - 或者有科学上网的方式，可以配置 Docker Daemon， 添加代理地址，加速拉取过程
- nvidia显卡驱动
  - 显卡驱动可以直接在nvidia官网下载linux版本
  - 在终端执行：nvidia-smi ，查看是否有以下输出
- ollama
  - 简介：获得运行用的大语言的模型。
  - 官网：ollama.com/
  - 使用docker直接拉取ollama镜像
    - 路径 /data/docker-data/ollama需要更改为实际的本机路径，用于存储下载的模型等
    - 拉取镜像
      
      关键需要配置：--gpus=all参数,使用gpu推理。如果不配置，那么运行的时候使用的是cpu推理，比较慢
```
docker run -d --gpus=all -v /data/docker-data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```
    - 成功启动之后，ollama就运行在11434端口上了
    - 搜索模型：
      - 在ollama官网地址栏上输入 “deepseek”
    - 进入ollama的docker
```
 docker exec -it 418987da92ac /bin/bash
```
    - 拉取DeepSeek-R1模型，本次拉取的是14b模型，启动之后显存占用大约10G左右
```
ollama run deepseek-r1:14b
```
    - 拉取成功后，可以直接输入内容和模型交互
    - 现在是可以交互了，但是不太方便，可以安装open-webui，方便通过界面直接交互访问
- open-webui
  - 官网：openwebui.com
  - github地址：github.com/open-webui/…
  - 使用docker compose的方式启动
    - 新建一个目录，在目录中新建docker-compose.yml文件，内容如下
```
version: '3.8'

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "8080:8080"
    volumes:
      - ./data:/app/backend/data
    extra_hosts:
      - "host.docker.internal:host-gateway"
      - "api.openai.com:127.0.0.1"
```
    - 启动
```
docker compose up -d
```
    - 启动之后，可以直接访问：http://[本机地址]:8080 打开界面，新建一个账户登录
    - 使用 nvidia-smi 查看发现，显存占用大概10G左右
    - 推理过程中，GPU占用大概85%左右

结语

实测效果还是可以的，能满足日常使用。但是和“满血”版本还是有很大的差距
优先使用官网版本，或者直接使用官网的API版本。如果有空闲资源，官网服务也是不稳定的，可以尝试以上方式部署
如果有什么问题，欢迎评论留言讨论，看到会回复
如果你觉得这个回答对你有帮助，欢迎关注我的微信公众号【一行梦境】，我会在那里分享更多深度内容和实用技巧。