本地化部署LLM大模型

用到的工具： ollama：大模型运行工具（ollama.com/download） docker：运行前端的容器安装（docs.docker.com/） open-webui：前端网站AI（github.com/open-webui/…

一、大模型的安装

1. 访问ollama官网下载，并安装，默认安装在C盘
2. window电脑，我的电脑-环境变量-系统变量
3. 新增变量名：OLLAMA_MODELS
4. 变量值可以为：E:\自定义一个文件夹
5. 重启电脑
6. ollama基本命令

ollama list // 查看已下载的大模型
ollama run deepseek-r1:1.5b //运行大模型，如果没有自动优先安装

二、安装前端运行容器docker

1. 下载docker，选择对应系统的版本
2. 安装完成之后运行代码，检测到版本号说明安装成功

docker --version

7. 看到docker启动，完成

三、安装open-webui 8. 如果安装了ollama和docker运行github给出的代码安装open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main