春节期间,最火爆的除了《哪吒 2》之外,应该就是 DeepSeek 了吧?DeepSeek 的火爆不仅让大家重拾了对 AI 的热情,更是能够提振国人的信心。不过由于 DeepSeek 过于火爆,以及来自外部势力的恶意攻击,导致 DeepSeek 的服务总是无法访问。
那么,我们可以在本地部署一个 DeepSeek-R1 以备不时之需,同时也可以为我们搭建本地知识库做准备。
写在前面
DeepSeek-R1 提供了很多版本,如下图所示:
DeepSeek 官网使用的是 DeepSeek-R1 671B(即 6710 亿参数)的满血版,由于硬件水平的限制,本地部署的 DeepSeek-R1 无法与 DeepSeek 官网提供的相提并论,但是应对官网无法访问时是足够的。
关于版本 DeepSeek-R1 的版本选择要量力而行,不是一定要部署 671B 的版本的。这里提供一些参考,我使用的是 NVIDIA RTX 3070TI 8G,选择的是 DeepSeek-R1 7B,我朋友使用的是 NVIDIA RTX 4090TI 24G,选择的是 DeepSeek-R1 32B(真是可恶啊),你可以根据自身的硬件条件选择合适的版本,如果你没有 GPU,那么就选择 DeepSeek-R1 1.5B 的版本就好了,也是能跑的~~
本文是基于 Windows 11 操作系统进行部署的,下面我们就正式开始在本地部署 DeepSeek-R1 吧!
Tips:由于种种原因,部分软件的下载速度会非常慢,甚至无法下载,你可以在公众号中回复关键字:DeepSeek教程软件,获取教程中的所有软件。
安装 Ollama
首先我们登录 Ollama 的官网(https://ollama.com/)下载 Ollama,如下图所示:
接着我们双击安装包安装 Ollama,如下图所示:
Tips:Ollama 会默认安装到 Windows 系统的 C:\Users\ 你的用户名 \AppData\Local\Ollama 下。
至此,Ollama 已经安装完成了,你可以在任务栏中看到 DeepSeek 的图标了。
你也可以在 PowerShell (或使用 CMD)中查看你的 Ollama 版本,命令如下:
ollama --version
结果如下图所示:
修改 Ollama 下载模型的路径
除了 Ollama 会默认安装到电脑的 C 盘中,通过 Ollama 下载的大模型也会安装到 C 盘,这可能是很多习惯磁盘分区的小伙伴无法忍受的,那么我们可以通过修改环境变量的方式修改 Ollama 下载大模型的路径。
首先我们找到环境变量编辑器,你可以通过搜索栏搜索,或者是在设置中搜索,如图所示:
打开环境变量编辑器,我们新增一个环境变量,如下图所示:
我们输入环境变量名称:OLLAMA_MODELS 和变量值(选择你本地的一个路径),如下图所示:
最后保存这个环境变量,并重启电脑,否则该环境变量不生效。
安装 CUDA
下载大模型之前,我们还需要安装 CUDA,否则你的大模型会直接使用 CPU,效果差不说还会造成电脑的卡顿。再次提示,你可以在公众号中回复关键字:DeepSeek教程软件,获取教程中的所有软件。
我们打开 NVIDIA CUDA Toolkit 的官网(https://developer.nvidia.com/cuda-toolkit)下载 CUDA 应用,如图所示:
接着我们选择合适的 CUDA 版本,如下图所示:
下载完成后我们安装 CUDA,安装同样非常简单,选择好安装路径即可。
下载大模型
最后我们来下载大模型,再次打开 Ollama 的官网(https://ollama.com/),选择 Models 选项,如下图所示:
接着我们选择 DeepSeek-R1 大模型,如下图所示:
选择合适的大模型版本,并复制下载命令,如下图所示:
最后,我们使用复制的指令在 PowerShell(或者是 CMD)中下载大模型,如下图所示:
使用大模型
我们重新打开 PowerShell(或是 CMD),输入指令ollama list查看当前安装的大模型,如下图所示:
接着我们通过上面的大模型名称来使用大模型,输入指令ollama run [modle_name],如下图所示:
至此,我们就已经能够在本地使用 DeepSeek 大模型了,但是这样有点丑,别着急,下一篇文章中我们一起来部署图形化界面。
好了,今天的内容到这里就结束了,如果本文对你有帮助的话,还请多多点赞指出,如果能够关注一下就更好了~~