如何在本地部署 DeepSeek-R1 模型?

391 阅读3分钟

一、安装 Ollama

首先要安装 Ollama,直接去 Ollama.com 下载安装包即可。

安装完成,接口就已经有了。

访问一下 127.0.0.1:11434,出现 Ollama is running,代码本地 Ollama 已经成功部署了。

Ollama 本地接口

二、安装 deepseek 模型

这时候用命令行就能获取相关的模型。

ollama run deepseek-r1

这行命令是从 Ollama 的模型库中获取 deepseek-r1 默认规模的模型,然后将其跑起来。如果本地模型库还没有,则会从 Ollama 官方拉取。

这里默认是 7b 的蒸馏模型。如果需要按需选择自己的模型,则可以参考站点列出的模型规模的具体代码。点击这里:deepseek-r1

参数规模越大,需要下载的内容越多。个人实验下来,最后 5%-10% 的下载速度有可能非常慢。需要耐心等待,不过好像还支持断点下载。如果出现断线,重新执行即可。

硬件要求的话,粗略计算方法是,模型参数规模为 (n)b,最好需要有 (2 * n)G的显存,对于 Mac 用户来说,看内存即可。目前本人用的 Mac 是 36G 内存,跑 32b 也是可以的。

安装完成,可以在命令行直接输入问题,跟 deepseek 交流了

命令行的deepseek

三、安装部署 UI

如果是程序员,觉得命令行这样其实也不错了。但命令行显示还是不太友好,这时候就可以用下面五种方法安装 UI 界面了。(选一种最适合自己的即可)

1. 自行开发界面。难度 🌟🌟🌟🌟🌟

既然已经知道 ollama 接口了,其实自行开发 UI 界面也是可以的。

官方提供了 REST API 的,参考官方 GitHub文档:Ollama REST API

不过,这步骤太麻烦了,即使是老程序员,有 AI 代码助手加持,我相信大部分人也不愿意选这一步的。

2. 本地部署 UI,难度 🌟🌟🌟🌟

那就选择已经成熟的 UI 自己来不熟吧,目前参考了 ChatGpt 的 UI 的 Open WebUI 是大部分人的首选。

有 python 环境的朋友,可以直接安装 Open WebUI,然后把服务启动即可

# 安装
pip install open-webui

# 启动服务
open-webui serve

3. docker 部署 UI,难度 🌟🌟🌟

本地环境太复杂,估计还是有很多人本地无 python。而,你刚好之前有本地运行过 docker。

那可以再精简一点,使用现有的 docker 运行。

参考:Open-WebUI Github

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这一步难度已经降低很多了,但是估计会劝退不少没有程序开发经验的人,毕竟 docker 对普通人不太友好。

4. 安装浏览器插件,难度 🌟🌟

如果本地部署都不想要走,可以用浏览器插件直接访问接口。如谷歌 Chrome 插件 Page-Assist。

参考:Page Assist - Chrome 应用商店

但是众所周知的原因,Chrome 商店无法在国内使用,如果你没有梯子,又不是 Win 的用户,又不想专门装一个 Edge 浏览器。那还是建议用最后一种方法。

5. 安装应用,难度 🌟

现在已经有成熟应用,安装即可。比如,anything LLM。

到 anything LLM 站点下载安装即可,Download AnythingLLM for Desktop

安装完成在模型界面选择 Ollama。

一切就是这么简单!

而且可玩性一点也不比 WebUI 差,配置齐全:

截屏2025-02-10 11.57.10.png