部署环境
系统：Windows 11
CPU：i7-12700H
GPU：NVIDIA GeForce RTX 3060 Laptop GPU
内存：16 GB
模型：llama3 8B
什么是 ollama
ollama 是一个为快速部署和运行大型语言模型（如 Llama 3、Gemma）而设计的工具，它允许用户在个人电脑上通过简单的命令行界面来使用这些模型。
官网：ollama.com/
Github：github.com/ollama/olla…
安装 ollama 部署 llama3
步骤1
登录官网：ollama.com/ ，点击Download下载应用程序，下载完成后安装应用
步骤2（可选）
怎么修改模型的安装位置？
模型会默认下载在 C盘，可以通过修改环境变量指定模型下载地址：
变量名：OLLAMA_MODELS
步骤3
安装完成后，打开命令窗口：同时按 win+r 键，输入 cmd ，点击确定
输入命令 ollama ，如图所示表示安装成功
步骤4
ollama 安装成功后就可以部署模型了。
选择想要部署的模型，输入对应的运行命令。例如想要部署 8B 的 Llama 3 模型：
ollama run llama3
-- 或者
ollama run llama3:8b
| 模型 | 参数 | 模型存储大小 | 运行命令 |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
注意：应该至少有 8 GB 可用 RAM(内存) 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。
运行成功后出现 success，并提示 Send a message
步骤5
运行成功问个问题测试一下吧
似乎默认是英文回复，但中文也是支持的，并且问答支持连续的上下文
可能遇到的问题
- 安装 ollama 后为什么双击快捷图标没反应，打不开 ollama？
ollama 与常规的软件不一样，它是在命令窗口（cmd黑框）中运行的。只要安装成功，就可以在命令窗口中运行。
命令窗口打开方式：
- 快捷键 win+r ，输入
cmd，点击确认即可打开，打开后可以直接输入运行命令
- 点击 win 键打开开始菜单，搜索 “命令提示符”
