简介
ollama 是一个语言大模型平台,可以在上面安装部署市面上的语言模型。开源免费,可离线使用。
本文介绍如何在 windows 系统上安装和使用 ollama。
安装
打开官网(ollama.com/download/wi…),下载安装包。
下载下来直接安装。
安装完成。
可视化界面
安装完之后,使用 Docker 再安装一个可视化界面。
这个可视化界面是 open-webui(docs.openwebui.com/),敲下面的命令运行容器。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
本地没有镜像,会先拉镜像再运行容器,等一下。
OK,容器跑起来了。
浏览器访问 http://localhost:3000,访问应用,注册管理账户。注:如果无法访问该页面,关掉加速器或VPN。
完成创建,进入界面。
使用
接下来,我们基于 open-webui 来使用 ollama。
(1)管理模型
点击左下角的 “管理员面板”。
选择 “设置->模型->管理”,点击模型列表,查看可选择的模型。
如下,展示可选择模型列表。
添加模型,只需要复制模型名称到 open-webui 中添加,如我需要添加 “codegeex4” 模型。
下载中。
下载速度太感人了,无奈。我更换国内魔塔社区的模型(Qwen1.5-0.5B-Chat)。
(2)对话
模型安装完,就可以进行对话了。
(模型下歪了,在这胡言乱语)
另外可以回到刚刚的模型管理界面,对模型进行启停。
(3)管理账户
点击“用户”,可以在下面这个界面新增用户,对用户进行管理。
创建权限组
设置权限
(4)更多功能自行挖掘
另外
如果不想要可视化界面操作,也可以在命令行中操作。
命令列表。
-
查看版本:ollama -v
-
启动 ollama:ollama serve
-
查看模型列表:ollama list
-
安装模型:ollama pull [模型名称]
-
运行模型:ollama run [模型名称]
-
删除模型:ollama rm [模型名称]
-
离线导入:ollama create [自定义模型名称] -f [模型的GGUF文件]