一、安装 Ollama
首先要安装 Ollama,直接去 Ollama.com 下载安装包即可。
安装完成,接口就已经有了。
访问一下 127.0.0.1:11434,出现 Ollama is running,代码本地 Ollama 已经成功部署了。
Ollama 本地接口
二、安装 deepseek 模型
这时候用命令行就能获取相关的模型。
ollama run deepseek-r1
这行命令是从 Ollama 的模型库中获取 deepseek-r1 默认规模的模型,然后将其跑起来。如果本地模型库还没有,则会从 Ollama 官方拉取。
这里默认是 7b 的蒸馏模型。如果需要按需选择自己的模型,则可以参考站点列出的模型规模的具体代码。点击这里:deepseek-r1。
参数规模越大,需要下载的内容越多。个人实验下来,最后 5%-10% 的下载速度有可能非常慢。需要耐心等待,不过好像还支持断点下载。如果出现断线,重新执行即可。
硬件要求的话,粗略计算方法是,模型参数规模为 (n)b,最好需要有 (2 * n)G的显存,对于 Mac 用户来说,看内存即可。目前本人用的 Mac 是 36G 内存,跑 32b 也是可以的。
安装完成,可以在命令行直接输入问题,跟 deepseek 交流了
三、安装部署 UI
如果是程序员,觉得命令行这样其实也不错了。但命令行显示还是不太友好,这时候就可以用下面五种方法安装 UI 界面了。(选一种最适合自己的即可)
1. 自行开发界面。难度 🌟🌟🌟🌟🌟
既然已经知道 ollama 接口了,其实自行开发 UI 界面也是可以的。
官方提供了 REST API 的,参考官方 GitHub文档:Ollama REST API
不过,这步骤太麻烦了,即使是老程序员,有 AI 代码助手加持,我相信大部分人也不愿意选这一步的。
2. 本地部署 UI,难度 🌟🌟🌟🌟
那就选择已经成熟的 UI 自己来不熟吧,目前参考了 ChatGpt 的 UI 的 Open WebUI 是大部分人的首选。
有 python 环境的朋友,可以直接安装 Open WebUI,然后把服务启动即可
# 安装
pip install open-webui
# 启动服务
open-webui serve
3. docker 部署 UI,难度 🌟🌟🌟
本地环境太复杂,估计还是有很多人本地无 python。而,你刚好之前有本地运行过 docker。
那可以再精简一点,使用现有的 docker 运行。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这一步难度已经降低很多了,但是估计会劝退不少没有程序开发经验的人,毕竟 docker 对普通人不太友好。
4. 安装浏览器插件,难度 🌟🌟
如果本地部署都不想要走,可以用浏览器插件直接访问接口。如谷歌 Chrome 插件 Page-Assist。
但是众所周知的原因,Chrome 商店无法在国内使用,如果你没有梯子,又不是 Win 的用户,又不想专门装一个 Edge 浏览器。那还是建议用最后一种方法。
5. 安装应用,难度 🌟
现在已经有成熟应用,安装即可。比如,anything LLM。
到 anything LLM 站点下载安装即可,Download AnythingLLM for Desktop
安装完成在模型界面选择 Ollama。
一切就是这么简单!
而且可玩性一点也不比 WebUI 差,配置齐全: