部署方案
Ollama + Open webui
需要最新版本的 Ollama。
需要最新版本的 Ollama。
需要最新版本的 Ollama。
配置说明
没显卡:
ollama pull gemma3:1b
ollama pull gemma3:4b
有显卡,显存大于4G:
ollama pull gemma3:4b
有显卡,显存大于8G:
ollama pull gemma3:12b
有显卡,显存大于20G:
ollama pull gemma3:27b
有显卡,显存大于56G:
ollama pull gemma3:27b-it-fp16
软件安装
ollama 安装
官网安装地址:ollama.com/download
如果你之前已经安装过了 ollama 记得务必升级到最新,然后重启 ollama serve。
open webui 安装
这个软件已经封装成Python包了,所以只要你本地有Python环境即可,安装指令。
pip install open-webui
玩起来
启动服务
新建两个 terminal,分别输入以下指令启动 ollama 和 open webui。
- ollama
ollama serve
- open webui
open-webui serve
启动成功后本地访问localhost:8080即可登录 open-webui。
这时候你应该还一个模型都没有,新建一个 terminal 输入前面配置说明里的指令,比如我用显卡显存大于56G,我就运行以下指令:
ollama pull gemma3:27b-it-fp16
拉取好后,刷新下localhost:8080页面。
提问测试
如果一个人把冰块放在阳光下,冰块会发生什么?
所有的鸟都会飞,企鹅是鸟类吗?
11.9和11.18谁大
在有限域 ℤ₃ 上,求使得商环 ℤ₃[x]/(x² + c) 成为域的所有 c 值。
解方程组:2x + 3y = 6 和 x - y = 2