本地部署大语言模型，使用Ollama部署Gemma-2b

Ollama 简介

Ollama 是一款开源大语言模型管理工具

Ollama 下载并安装

增加系统环境变量

指定模型下载位置，如果不指定会默认下到 C 盘 变量名：OLLAMA_MODELS，变量值 D:\OllamaLib（需要在 D 盘新建 OllamaLib 文件夹）

<!-- 如果已经安装好 Ollama，则需要重启 Ollama -->
<!-- windows 在任务栏右键退出再打开命令行执行 -->
ollama serve

下载安装

下载地址：ollama.com/download

下载完成后直接 install 安装，提示安装完成后，打开命令行执行

ollama --version

正常显示版本号即为安装成功！

安装模型

官网地址：ollama.com/library

Model	Parameters	Size	Download
Llama 2	7B	3.8GB	ollama run llama2
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
Vicuna	7B	3.8GB	ollama run vicuna
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b

我下载的是 gemma:2b，安装完成后即可与 gemma:2b 对话

安装可视化对话工具

Ollama 推荐了一些，我选择的是 Open WebUI

需要安装 docker

下载地址：www.docker.com/products/do…

与安装 ollama 一样，直接下载安装，执行 docker -v 显示版本代表安装成功。

执行安装命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

执行完成后，即可点击，进入网站使用