大模型已经发展了一年多了，除了OpenAI之外也有许多的大语言模型被推出来其中包括了许多开源的模型，那么如何在本地启动并运行大型语言模型。Ollama站了出来，它可以在本地启动并运行大型语言模型。
Ollama下载安装
然后从官网下载Ollama：
Ollama默认下载位置为C盘，开机自动运行，只有命令行版本。 安装完成之后便可使用命令行下载运行模型：
ollama run llama3
以下是一些可以下载的示例模型:
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi-3 | 3,8B | 2.3GB | ollama run phi3 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Solar | 10.7B | 6.1GB | ollama run solar |
目前只能在命令行中使用，因此我们后面需要配置一个UI界面。
配置OpenWebUI（docker方式）
先完成docker的配置，然后在命令行输入：
docker pull ghcr.io/open-webui/open-webui:main
我这里就没有使用CUDA加速，如果要使用CUDA，按照官方的说明，需要将tag改为cuda，在WSL中安装Nvidia CUDA container toolkit。
选择一个合适的目录（用于挂载文件夹），右键打开终端，输入以下命令运行容器：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v $PWD/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这样在本地的浏览器中输入http://localhost:3000即可看到UI界面。
配置OpenWebUI（Windows环境）
参考文档：docs.openwebui.com/getting-sta…
环境要求：
我本地使用的环境是Nodejs 20.12+Python 3.10，pip升级到最新版本。
文件夹中，依次输入以下命令即可：
git clone https://github.com/open-webui/open-webui.git
cd open-webui/
# Copying required .env file
cp .env.example .env
# Building Frontend Using Node
npm i
npm run build
# Serving Frontend with the Backend
cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat
在浏览器中输入http://localhost:8080即可看到UI界面。
配置OpenWebUI在windows环境中遇到问题
- 执行 pip install -r requirements.txt -U 安装速度太慢导致超时问题
解决方案使用代理：
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
- 执行 .\start_windows.bat 启动时连接不到 huggingface.co/
解决方案在入口main.py文件的 import os 下配置HF_ENDPOINT
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
- Ollama 模型安装位置
Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，修改模型路径，需要在安装之前配置环境变量OLLAMA_MODELS，设置为自己指定的路径。
