ollama安装&使用

0 阅读2分钟

简介

ollama 是一个语言大模型平台,可以在上面安装部署市面上的语言模型。开源免费,可离线使用。

本文介绍如何在 windows 系统上安装和使用 ollama。

安装

打开官网(ollama.com/download/wi…),下载安装包。

在这里插入图片描述

下载下来直接安装。

在这里插入图片描述

安装完成。

在这里插入图片描述

可视化界面

安装完之后,使用 Docker 再安装一个可视化界面。

这个可视化界面是 open-webui(docs.openwebui.com/),敲下面的命令运行容器。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

本地没有镜像,会先拉镜像再运行容器,等一下。

在这里插入图片描述

OK,容器跑起来了。

在这里插入图片描述

浏览器访问 http://localhost:3000,访问应用,注册管理账户。注:如果无法访问该页面,关掉加速器或VPN。

在这里插入图片描述

完成创建,进入界面。

在这里插入图片描述

使用

接下来,我们基于 open-webui 来使用 ollama。

(1)管理模型

点击左下角的 “管理员面板”。

在这里插入图片描述

选择 “设置->模型->管理”,点击模型列表,查看可选择的模型。

在这里插入图片描述

如下,展示可选择模型列表。

在这里插入图片描述

添加模型,只需要复制模型名称到 open-webui 中添加,如我需要添加 “codegeex4” 模型。

下载中。

在这里插入图片描述

下载速度太感人了,无奈。我更换国内魔塔社区的模型(Qwen1.5-0.5B-Chat)。

在这里插入图片描述

(2)对话

模型安装完,就可以进行对话了。

(模型下歪了,在这胡言乱语)

在这里插入图片描述

另外可以回到刚刚的模型管理界面,对模型进行启停。

在这里插入图片描述

(3)管理账户

点击“用户”,可以在下面这个界面新增用户,对用户进行管理。

在这里插入图片描述

创建权限组

在这里插入图片描述

设置权限

在这里插入图片描述

(4)更多功能自行挖掘

另外

如果不想要可视化界面操作,也可以在命令行中操作。

命令列表。

  • 查看版本:ollama -v

  • 启动 ollama:ollama serve

  • 查看模型列表:ollama list

  • 安装模型:ollama pull [模型名称]

  • 运行模型:ollama run [模型名称]

  • 删除模型:ollama rm [模型名称]

  • 离线导入:ollama create [自定义模型名称] -f [模型的GGUF文件]