这篇笔记主要记录本地部署deepseek r1模型,通过使用Ollama部署,使用Open WebUI获取和chatGPT一样的用户交互界面,使用docker部署镜像。
使用Ollama安装模型并运行
在Ollama官网下载ollama,
我们安装了之后,不需要打开ollama这个应用,直接在命令行进行交互,看我们上面的安装截图,有安装命令行。在控制终端输入ollama, 如果有返回就是安装好了。
运行ollama命令就会开启ollama应用
点击模型去ollama的模型页面,选择deepseek-r1
注意看,右侧有ollama运行模型的命令,
ollama run deepseek-r1:1.5b
在命令终端运行ollama run deepseek-r1:1.5b,我这里选择适合我电脑内存的版本。
看截图显示Send a message (/? for help)发送信息就说明本地部署大模型已经成功了
问一个问题测试下为什么有核动力潜艇 没有核动力汽车呢
可以看到回答deepseek-r1:1.5b模型的回答不完全对,说燃油效率不高,这个应该是有核动力汽车的原因,我们试着用网页版的deepseek问下,可以看到回答就说的过去了,估计网页版用的是671b模型
这样运行模型,界面不是很友好,我们使用Ctrl/Control+D退出命令行。
使用Open WebUI
来自官网介绍
Open WebUI是一款可扩展的自托管人工智能界面,能适配您的工作流程,且全程完全离线运行。
我们看下它的文档,如果我们电脑已经安装了ollama, 就使用对应的命令,若要英伟达 GPU支持,请使用此命令。
我的电脑是Mac, 使用的是M2芯片,就没有英伟达GPU芯片,我就选择不需要英伟达GPU支持的命令。
苹果 M2 芯片采用统一内存架构,将 CPU 和 GPU 集成在同一芯片上,使 CPU 和 GPU 能够共享同一块内存,无需像传统显卡那样使用独立的显存,数据传输速度和效率更高
我要使用的是这个命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
需要先把docker启动,然后在终端运行命令,
然后看我们的docker客户端,
通过上面截图,我们发现容器自动运行了,访问下http://localhost:3000,或者点击容器旁的3000:8000, 因为是第一次,自动跳到http://localhost:3000/auth了,我们注册一个管理员账号
注册好管理员账号后,再访问3000端口,等一小会儿,(可能网络原因)就看到了界面,有一个版本更新日志弹窗,我们关掉。
如果你像我一样,发现等一会儿后页面出来之后,选择模型,没有模型。
那我们就在命令行运行,
ollama list,看有没有模型,运行了之后,发现有模型,这时候发现系统自动打开了ollama这个应用
多了ollama这个图标
我们再看下localhost:3000, 就有了我们这个模型
我们再问下前面的问题,为什么有核动力潜艇 没有核动力汽车呢
发现回答的和终端的回答不一样,而且感觉更不靠谱,都改变我的问题了,把问题变成了核动力潜艇与核动力汽车之所以没有成为主流,我继续追问了下,还是不明白我的问题
总结deepseekr1:1.5b没法实用