在本地环境中成功部署 Gemma3 模型的关键步骤

894 阅读1分钟

部署方案

Ollama + Open webui

需要最新版本的 Ollama。

需要最新版本的 Ollama。

需要最新版本的 Ollama。

image.png

配置说明

没显卡:

ollama pull gemma3:1b
ollama pull gemma3:4b

有显卡,显存大于4G:

ollama pull gemma3:4b

有显卡,显存大于8G:

ollama pull gemma3:12b

有显卡,显存大于20G:

ollama pull gemma3:27b

有显卡,显存大于56G:

ollama pull gemma3:27b-it-fp16

image.png

软件安装

ollama 安装

官网安装地址:ollama.com/download

image.png

如果你之前已经安装过了 ollama 记得务必升级到最新,然后重启 ollama serve。

open webui 安装

这个软件已经封装成Python包了,所以只要你本地有Python环境即可,安装指令。

pip install open-webui

玩起来

启动服务

新建两个 terminal,分别输入以下指令启动 ollama 和 open webui。

  • ollama
ollama serve
  • open webui
open-webui serve

启动成功后本地访问localhost:8080即可登录 open-webui。

image.png

这时候你应该还一个模型都没有,新建一个 terminal 输入前面配置说明里的指令,比如我用显卡显存大于56G,我就运行以下指令:

ollama pull gemma3:27b-it-fp16

拉取好后,刷新下localhost:8080页面。

提问测试

如果一个人把冰块放在阳光下,冰块会发生什么?

image.png

所有的鸟都会飞,企鹅是鸟类吗?

image.png

11.9和11.18谁大

image.png

在有限域 ℤ₃ 上,求使得商环 ℤ₃[x]/(x² + c) 成为域的所有 c 值。

image.png

解方程组:2x + 3y = 6 和 x - y = 2

image.png