大模型本地部署方案

菜鸟码猿
1,307 阅读5分钟

Ollama

首先需要安装 ollama，ollama 是一个专门在本地机器上便捷部署和运行 LLM 而设计的开源工具

官网地址：ollama.org.cn/

安装 ollama

下载地址：ollama.org.cn/download

也可以借助 docker，以下是 docker 部署 ollama方案：

# 拉取 Ollama Docker 镜像
docker pull ollama/ollama:latest

# 创建容器（需要映射目录，比如我这是：D:\ollama）
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 在浏览器中打开：http://localhost:11434/ 就会出现 Ollama is running 即表示 ollama 启动成功

# 下载并运行模型 deepseek-r1
docker exec -it ollama ollama run deepseek-r1:1.5b

运行成功后就会出现如下交互界面：

常用命令

启动 ollama

ollama serve

查看版本

ollama -v

查看本地大模型列表

ollama list

拉取模型

ollama 模型地址：ollama.org.cn/search

ollama pull deepseek-r1:1.5b

运行大模型

根据个人电脑配置，选择合适的大模型，运行成功后，默认端口为·：http://localhost:11434

ollama run deepseek-r1:1.5b

删除本地大模型

ollama rm deepseek-r1:1.5b

复制模型

ollama cp deepseek-r1:1.5b my-deepseek

显示模型信息

ollama show deepseek-r1:1.5b

查看当前正在运行的模型

ollama ps

停止当前正在运行的模型

ollama stop deepseek-r1:1.5b

Open WebUI

ollama 自带的交互界面不够友好直观，可以选择使用开源的可视化 AI 界面工具进行本地部署，这类工具集成了问答交互、模型切换、聊天记录、信息检索等诸多功能，小编这里选择的是 open webui

官网地址：docs.openwebui.com/

仓库地址：github.com/open-webui/…

这里部署方式采用以下两种：

docker 部署

# 拉取 open webui 镜像
docker pull ghcr.io/open-webui/open-webui:main

# 运行容器成功后，在浏览器中打开：http://localhost:3000/
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

在浏览器中打开：http://localhost:3000/，即可看到如下界面：

创建管理员账号

进行对话

手动安装

这里采用 python 安装部署方式，使用 pip 库管理工具

# 安装 open-webui
pip install open-webui

# 运行 open-webui，运行成功后，在浏览器中打开：http://localhost:8080/
open-webui serve

Pyenv Win

在安装 open webui 时，它指定 python 的版本需要高于3.11，由于早期电脑上安装的 python 版本过低，使用 pyenv-win 这个 python 管理工具进行本地 python 版本的切换，类似于 node 的管理工具 nvm，以下是其安装及使用方法：

官网地址：pyenv-win.github.io/pyenv-win/

仓库地址：github.com/pyenv-win/p…

安装 pyenv-win

打开 PowerShell，输入以下命令即可：

Invoke-WebRequest -UseBasicParsing -Uri "https://raw.githubusercontent.com/pyenv-win/pyenv-win/master/pyenv-win/install-pyenv-win.ps1" -OutFile "./install-pyenv-win.ps1"; &"./install-pyenv-win.ps1"

关闭窗口重新打开一个新的 PowerShell 窗口，检查 pyenv-win是否安装成功：

pyenv --version
# pyenv 3.1.1

除此之外还可以拉取源码进行安装使用，方法如下：

  1. 在相应文件目录下拉取源代码
git clone git@github.com:pyenv-win/pyenv-win.git
  1. 添加系统环境变量 PYENV
## 环境名
PYENV

# 环境值
D:\Tools\pyenv\pyenv-win
  1. 添加系统 PATH 变量
%PYENV%\bin
%PYENV%\shims

常用命令

# 查看 pyenv 版本
pyenv --version

# 查看已经安装好的 python 版本
pyenv versions

# 列出可以安装的 python 版本
pyenv install --list

# 安装指定 python 版本
pyenv install 3.12.0

 # 卸载
pyenv uninstall 3.12.0      

# 设置特定 python 版本影响范围为全局
pyenv global 3.12.0

 # local仅对当前目录及子目录生效，告诉当前目录使用版本3.8.2
pyenv local 3.12.0

# 重建环境变量，每当你增删 Python 版本或带有可执行文件的包（如 pip）以后，都应该执行一次本命令
pyenv rehash

设置 pyenv-win 镜像源

pyenv-win 国内下载 python 慢，可设置镜像源，加速 python 的下载速度

  1. 添加系统环境变量 PYTHON_BUILD_MIRROR_URL
# 变量名
PYTHON_BUILD_MIRROR_URL

# 环境值
https://mirrors.huaweicloud.com/python/
# 或
https://jedore.netlify.app/tools/python-mirrors/
  1. 打开新窗口执行 pyenv update 命令即可

设置 pip 镜像源

# 国内镜像源

# 华为
https://mirrors.huaweicloud.com/repository/pypi/simple

# 阿里
http://mirrors.aliyun.com/pypi/simple

# 清华大学
https://pypi.tuna.tsinghua.edu.cn/simple

# 安装某个库时临时使用镜像yuan
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple open-webui

# 设置全局镜像源
pip config set global.index-url https://mirrors.huaweicloud.com/repository/pypi/simple

AnythingLLM

AnythingLLM 是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有 <font style="color:rgb(31, 35, 40);">ChatGPT</font>，能够根据你上传的文档资料进行学习，在与其聊天时，引用这些内容，构建本地私人知识库

官网地址：anythingllm.com/

仓库地址：github.com/Mintplex-La…

使用 docker 安装 anythingllm

docker pull mintplexlabs/anythingllm

运行 anythingllm ，在 PowerShell 中运行如下命令：

# Run this in powershell terminal
$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

在浏览器中打开：http://localhost:3101/，就会出现如下界面：

进行如下配置：

根据个人需求选择个人还是团队使用，然后根据默认配置进行下一步

建立工作区

就可以进行使用了

上传文档资料到知识库，并挂载到指定的工作区进行对话，输出的内容便会依据你当前工作区的资料进行回答

至此，你就学会了如何在本地部署大模型，对了，偷偷告诉你，微信公众号搜索 菜鸟码猿，后台回复 deepseek 就能够获取清华大学《DeepSeek：从入门到精通》这本使用手册哦，赶紧试试吧

avatar
文章
阅读
粉丝