DeepseekR1+Ollama+open-webui实现本地化部署

322 阅读1分钟
  1. 下载安装Ollama,打开ollama官网:ollama.com/
  2. 根据你的操作系统选择合适的版本进行下载,例如我的是mac,就选择macos进行下载客户端
  3. 通过官网指引,下载需要的模型:
  4. 选择deepseek-r1 image.png
  5. 本地执行命令,建议先下载1.5b或者7b的模型(模型下载时间会比较长,耐心等待):
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b

6. 下载完成后,deepseek-r1本地模型就会启动了,这个时候可以在终端通过交互输入,开始使用本地deepseek模型强大的推理能力了。

7. 安装open-webui,本地执行下面git clone命令,现将open-webui代码clone到本地

git clone https://github.com/open-webui/open-webui.git

8. 通过conda创建一个python版本=3.11.0的独立环境出来。后续open-webui部署运行都需要python3.11

9. 进入到上一步clone完的open-webui目录,并执行pip安装命令

pip install .

11. 安装过程会遇到不少错误,python版本必须要是3.11,node版本也有具体的区间限制,根据自己遇到的实际情况挨个解决。 12. 完成安装以后,执行下面命令启动服务,然后浏览器打开:localhost:8080就可以进入open-wenui界面了,ollama下载好的模型在页面上也能直接展示,选择模型,后可以通过对话框进行chat了。

open-webui serve

image.png