保姆级本地部署DeepSeek教程

606 阅读3分钟

1.前言

这个假期,DeepSeek得爆火可谓震惊整个世界,也打破我对AI也只是一个简单辅助工具得认知。它得思维链得推理模型可以说让任何小白都能轻松上手,不需要像以前得AI模型需要一定的提示工程知识基础,思考提示词。他会根据你提供的问题,尽量分析你的意图,通过多维度推理最终提供给你想要的答案。不仅结果更加准确,就连推到过程都很值得我们学习。

他居然真的想教会我怎么解质数!😄

不过,你是否还在因为使用deepseek经常服务器繁忙而苦恼?那么我们今天就亲手本地部署一个deepseek。来解决官网时常崩溃得问题。

当前deepseek模型总共有一下模型,对应模型以及需要的资源大致如下:

模型模型大小需要显存大小备注
1.5b1.1G4G
7b4.7G8G
8b4.9G12G
14b9G24G
32b20G50G
70b43G120G
671b404G未知官网使用模型

大家先根据自己得设备显存大小,决定使用哪个模型。建议模型使用14b以上,效果会好很多,其他得不建议使用本地部署。

2.本地安装

2.1.Ollama介绍

Ollama 是一个专注于本地化运行大型语言模型(LLMs)的工具,可以让用户能够在自己的设备上高效、便捷地部署和使用 AI 模型。

特点如下:

  • 本地化运行:Ollama 支持在本地设备(如个人电脑、服务器)上运行大型语言模型,无需依赖云端服务,保障数据隐私和安全。
  • 轻量化设计:通过优化模型加载和推理过程,降低资源占用,使其能够在普通硬件上运行。
  • 多平台支持:兼容多种操作系统(如 Windows、macOS、Linux),方便用户在不同环境中使用。
  • 简单易用:提供直观的命令行工具和 API,用户可以快速部署和调用模型。

2.2.安装Ollama

1.下载ollama

访问ollama.com/,点击下载

根据自己得操作系统,选择对应的版本进行下载

2.安装ollama

双击下载好的的文件,点击install进行安装

3.新增环境变量

新增环境变量OLLAMA_MODELS,用来放置下载的模型,不设置的话会放在C盘,导致C盘过大。

4.运行ollama

安装好之后,开始菜单中会图标,双击运行

5.选择模型

根据自己的配置选择合适的模型,点击复制命令按钮

6.运行模型

打开cmd,粘贴刚才复制的命令

ollama run deepseek-r1:14b

如果本地有模型则会进入对话页面,如果没有则会下载对应模型

7.对话进行

如果模型下载好,则自动进入对话模式,可以通过命令行进行对话

8.安装webUI界面

如果想要使用webui页面,可以使用google插件,page Assist,安装好之后界面如下,左上角选择模型即可直接使用。

这样,你就可以在本地使用deepseek拉,再也没有任何限制。