在本地电脑部署自己的 DeepSeek 大模型 AI：小白也能轻松上手

后端码匠
984 阅读7分钟

在本地电脑部署自己的 DeepSeek 大模型 AI：小白也能轻松上手

最近 DeepSeek 大模型 AI 火遍全网，我也忍不住去了解了一番。尝试在本地部署后，发现整个过程非常简单，于是决定记录下来，分享给大家。本文将以最基础的方式演示如何部署，无需使用 Docker 容器，也不需要“魔法上网”，即使是计算机小白也能按照步骤轻松完成。

本地化部署的优势

  1. 无需排队，响应迅速：本地部署后，无需等待服务器响应，直接享受高速交互体验。
  2. 隐私性更强：所有数据都在本地运行，无需担心隐私泄露或被第三方收集。
  3. 自由定制模型：可以自由投喂训练数据，打造专属于自己的个性化大模型。

准备工具

  1. Ollama
    • 用途：简化大型语言模型（LLM）的本地部署和使用，支持同时运行多个大模型。
    • 简单来说，它就像一个“容器”，让开发者能够轻松在本地环境中测试和运行不同的语言模型。
    • 官网地址：ollama.com/
  2. ChatBox AI
    • 用途：一款用于接入各种大模型的客户端，提供美观且便捷的用户界面，让使用大模型 AI 变得更加简单高效。
    • 官网地址：chatboxai.app/zh

第一步：下载并安装 Ollama

  1. 访问 Ollama 官网：ollama.com/。
  2. 点击页面上的 Download 按钮，下载适合你操作系统的安装包。
  3. 按照提示完成安装。

第二步：安装 Ollama 并配置存储路径

  1. 安装 Ollama 下载完成后，双击安装包开始安装。需要注意的是，Ollama 默认会将程序和大模型数据包安装在 C 盘。因此，在安装前请确保你的 C 盘有足够的存储空间（通常需要预留 10GB 以上的空间）。
  2. 更改安装路径（可选） 如果你希望将 Ollama 安装到其他磁盘可按照下面方式进行安装。 手动创建Ollama安装目录，首先在你想安装的路径下创建好一个新文件夹，并把Ollama的安装包放在里面。（OllamaSetup.exe同级目录CMD）比如我的是：OllamaSetup.exe /DIR=D:\MyApp\Ollama
  3. 完成安装并启动 点击 Install 后，Ollama 会自动开始安装。安装完成后，Ollama 会默认启动并运行在后台，你可以通过系统托盘或任务管理器确认其运行状态。

输入：ollama -v 有版本号就说明安装好了，在任务栏右下角有个羊驼的图标。

第三步：下载 DeepSeek R1 模型

  1. 访问 Ollama 官网 打开浏览器，进入 Ollama 官网：ollama.com/。
  2. 选择模型 在官网页面中，点击顶部导航栏的 Models 选项，进入模型列表页面。
  3. 找到 DeepSeek R1 模型 在模型列表中，找到 DeepSeek R1 模型（可以通过搜索功能快速定位）。
  4. 下载模型 点击 DeepSeek R1 模型，进入详情页面后，按照提示下载模型。Ollama 会自动将模型下载到默认的存储路径（通常是 C 盘）。
  5. 验证下载 下载完成后，Ollama 会自动加载模型。你可以通过命令行或 Ollama 的日志文件确认模型是否成功加载。

这里是选择DeepSeek蒸馏后的密集模型，注意这里的模型要根据自己的电脑性能来下载，如果资源不足，下载了也会跑不起来，我这里我选择的是第一个最小的模型。数字越大，代表参数越多，所需资源也越多，1.5b=15亿参数，其他自己换算下，对应的资源和模型我放个图，大家自己对应下。

Full Model

ModelParameters (B)VRAM Requirement (GB)Recommended GPU
DeepSeek-R1-Zero671B~1,543 GBMulti-GPU setup (e.g., NVIDIA A100 80GB x16)
DeepSeek-R1671B~1,543 GBMulti-GPU setup (e.g., NVIDIA A100 80GB x16)
DeepSeek-R1-Distill-Qwen-1.5B1.5B~3.9 GBNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-Distill-Qwen-7B7B~18 GBNVIDIA RTX 4090 24GB or higher
DeepSeek-R1-Distill-Llama-8B8B~21 GBNVIDIA RTX 4090 24GB or higher
DeepSeek-R1-Distill-Qwen-14B14B~36 GBMulti-GPU setup (e.g., NVIDIA RTX 4090 x2)
DeepSeek-R1-Distill-Qwen-32B32B~82 GBMulti-GPU setup (e.g., NVIDIA RTX 4090 x4)
DeepSeek-R1-Distill-Llama-70B70B~181 GBMulti-GPU setup (e.g., NVIDIA A100 80GB x3)

Quantized Models

ModelParameters (B)VRAM Requirement (GB) (4-bit)Recommended GPU
DeepSeek-R1-Zero671B~436 GBMulti-GPU setup (e.g., NVIDIA A100 80GB x6)
DeepSeek-R1671B~436 GBMulti-GPU setup (e.g., NVIDIA A100 80GB x6)
DeepSeek-R1-Distill-Qwen-1.5B1.5B~1 GBNVIDIA RTX 3050 8GB or higher
DeepSeek-R1-Distill-Qwen-7B7B~4.5 GBNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-Distill-Llama-8B8B~5 GBNVIDIA RTX 3060 12GB or higher
DeepSeek-R1-Distill-Qwen-14B14B~9 GBNVIDIA RTX 4080 16GB or higher
DeepSeek-R1-Distill-Qwen-32B32B~21GBNVIDIA RTX 4090 24GB or higher
DeepSeek-R1-Distill-Llama-70B70B~46 GBMulti-GPU setup (e.g. NVIDIA RTX 4090 24GB x2)

粘贴到命令窗回车执行，下载过程中可能会遇到报错，就重复再粘贴一次下载命令然后再回车执行。有时网络不稳定是会这样，多试几次就可以。

ollama run deepseek-r1:1.5b

但是这样在CMD窗口使用很不方便和美观，接下来我们就会用到ChatBox接入大模型了。

第四步：安装 ChatBox AI 并接入 DeepSeek 模型

  1. 下载 ChatBox AI 访问 ChatBox AI 官网：chatboxai.app/zh，选择适合你操作系…
  2. 安装 ChatBox AI 下载完成后，双击安装包，按照提示完成安装。安装过程非常简单，只需点击“下一步”即可完成。
  3. 启动 ChatBox AI 安装完成后，启动 ChatBox AI。首次启动时，你会看到一个简洁的用户界面。
  4. 配置 Ollama 连接
    • 在 ChatBox AI 中，找到 设置 或 模型配置 选项。
    • 选择 自定义模型 或 本地模型，然后输入 Ollama 的本地 API 地址（通常是 http://localhost:11434）。
    • 在模型列表中，选择 DeepSeek R1 作为默认模型。
  5. 测试连接
    • 在 ChatBox AI 的输入框中输入问题或指令，例如：“你好，介绍一下你自己。”
    • 如果配置正确，ChatBox AI 会通过 Ollama 调用 DeepSeek R1 模型并返回响应。

到这里就完成全部本地化部署了。

第五步：删除大模型资源包

如果你不小心下载了与电脑资源不匹配的大模型（例如显存或内存不足导致无法运行），可以通过以下步骤删除不需要的模型资源包。

  1. 查看已安装的模型 打开命令提示符（CMD）或终端，输入以下命令：

    ollama list

    这会显示你当前安装的所有大模型资源包及其名称。

  2. 复制模型名称 从列表中找到需要删除的模型名称（例如 deepseek-r1:1.5b）。

  3. 删除模型资源包 输入以下命令删除指定模型：

    ollama rm deepseek-r1:1.5b

    语法：ollama rm <模型资源包名称>

  4. 确认删除 删除完成后，可以再次运行 ollama list 确认模型是否已成功移除。

注意事项：

  • 删除模型后，释放的存储空间可以用于下载更适合你电脑配置的模型。
  • 如果你不确定某个模型是否适合你的设备，可以先查看模型的资源要求（如显存、内存等），再决定是否下载。
avatar
文章
阅读
粉丝