保姆级教程:你的电脑也能本地离线跑大模型,全程零门槛

0 阅读6分钟

序言

本文介绍基于 WSL(Windows Subsystem for Linux)和OllamaOpenCode部署和使用本地离线大模型。若你尚未安装 WSL,请查阅这篇文章《极简 WSL2 教程:开发、部署大模型必备》

WSL的基本使用和开发环境搭建,请查阅这篇文章《2026 最新版:WSL + Ubuntu 全栈开发环境,一篇搞定!》

OpenCode的安装,请查阅这篇文章《WSL + OpenCode 最佳实践:环境一致、模型配置、GUI 远程使用》

Ollama的安装,请查阅这篇文章《保姆级教程:WSL 安装 Ollama,本地免费跑开源大模型》

1. 根据电脑配置选择大模型

要在电脑上部署本地大模型,首先需要确认你的电脑配置能够运行哪款大模型。访问这个网站canirun,看看你的电脑配置能跑起来哪种大模型?

CANIRUNAI

1.1 canirun网站使用说明

该网站会读取你的电脑配置,并基于配置对所有开源大模型进行分级。S 级为最适配你电脑的大模型(可流畅运行),A 级为适配性良好的大模型(可正常运行),B 级为你的电脑勉强能运行的大模型。还有C级D级F级,这几个级别的大模型你本地电脑基本上运行不起来。

S级-运行流畅的大模型

A级大模型-运行良好

B级大模型-凑合能跑

1.2 选择适合自己电脑的大模型

选择电脑能运行的大模型

选择大模型

点击大模型的名字

复制安装大模型的命令

2. 安装并运行本地大模型

以下命令会执行两个操作:首先检测本地是否已下载 qwen3.5:0.8b 大模型;若已下载,则直接运行该模型;若未下载,则先下载模型,下载完成后自动运行。

ollama run qwen3.5:0.8b

2.1 查看大模型详情

执行上述命令前,建议先前往 Ollama 官网查看该大模型的详细信息。

搜索qwen大模型

点击qwen3.5查看详情

往下拉

qwen大模型的大小为1个G支持输入文字和图片

2.2 启动Ollama服务

安装之前要先在本地启动ollama服务

从上图可看出,要在本地安装大模型,需先执行 ollama serve 命令,在本地启动 Ollama 服务进程。

启动ollama serve本地服务

在新打开的终端窗口中执行以下命令:

# 启动WSL
wsl -d Ubuntu
# cd命令进入用户的home(家)目录
cd
# 下载并安装运行qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b

下载并运行大模型

本地大模型安装成功

2.3 使用大模型

安装好大模型之后,ollama run qwen3.5:0.8b这个命令会直接将本地大模型启动起来,你可以直接在终端窗口跟大模型聊天。

跟本地大模型聊天

ollama运行日志

2.4 识别图片内容

还支持图片输入

2.5 关闭大模型

/bye:在聊天界面输入/bye,就可以暂时退出大模型的聊天界面。

暂时退出大模型聊天界面

2.6 重新启动大模型

# 重新启动qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b

重新启动本地大模型

3. 本地大模型使用帮助文档

我们使用ollama run qwen3.5:0.8b这个命令启动本地大模型之后,ollama会给我们一个提示:“输入/? 获取帮助”,输入斜杠+问号:/?

大模型的说明文档

查看大模型的使用帮助文档

4. 让OpenCode使用我们本地大模型

使用ollama launch opencode启动OpenCode:

# 通过ollama启动OpenCode
ollama launch opencode

让OpenCode使用我们本地的大模型

Ollama会修改model.json配置文件

OpenCode使用本地大模型

OpenCode可以使用我们安装的本地大模型工作了

4.1 启动时指定大模型

可以使用下面的命令,在启动的时候直接指定大模型的名字。让opencode使用我们指定的大模型:

# 指定opencode使用qwen3.5:0.8b这个大模型
ollama launch opencode --model qwen3.5:8b

启动时指定大模型的名字

直接指定大模型的名字启动成功

4.2 model.json配置文件

查看ollama修改后的model.json配置文件内容:

# 使用cd命令进入opencode的配置文件所在目录
cd /home/wangyi/.local/state/opencode
# 使用cat 命令查看model.json配置文件
cat model.json

查看Ollama修改后的model.json配置文件

4.3 ollama launch命令的作用

ollama launch opencode这个命令的唯一作用就是帮我们修改OpenCode的配置文件,在OpenCode的配置文件中增加本地大模型的配置。这个命令成功执行一次之后,后续我们就可以不使用ollama launch opencode启动OpenCode了,直接通过OpenCode本来的命令opencode启动就可以了。

继续使用opencode自带的命令启动opencode

opencode可以继续使用本地安装好的大模型

5. 使用VSCODE连接WSL通过OpenCode使用本地大模型

在Windows上面打开VSCODE,远程连接到WSL上面进行代码开发。把Windows当成一个纯终端软件。

通过VSCODE连接WSL使用opencode

通过VSCODE使用OpenCode进行代码开发

5.1 opencode.json配置文件

VSCODE中通过ollama launch opencode使用opencode时,ollama会自动修改opencode.json这个配置文件并在配置文件中增加BASEURL配置。通过如下命令查看修改后的配置文件:

# 使用cd 命令进入用户的 home(家)目录
cd /home/wangyi/.config/opencode
# 使用cat命令查看opencode.json配置文件
cat opencode.json

查看opencode.json配置文件

6. 使用IDEA连接WSL通过OpenCode使用本地大模型

在Windows上面打开IDEA,远程连接到WSL上面进行代码开发。把Windows当成一个纯终端软件。

在IDEA里面通过opencode使用本地大模型

在IDEA里面通过OpenCode使用本地大模型

7. Ollama常用命令

Ollama常用命令可参考Ollama官网:Ollama官网常用命令Ollama的Linux常用命令

7.1 查看大模型的详细信息

# 查看大模型的详细信息
ollama show qwen3.5:0.8b
ollama show qwen3.5:0.8b --modelfile

查看大模型的详细信息

再次查看show命令的帮助文档

7.2 查看大模型的安装目录

本地大模型的安装目录为:~/.ollama/models/usr/share/ollama/.ollama/models

# ~这个符号代表当前登录用户的home(家)目录
cd ~/.ollama/models/
# 查看目录下的文件列表
ls -la

本地大模型的安装目录

Ollama官方文档的FAQ里面的说明

7.3 查看本地都安装了哪些模型

# 查看本地都安装了哪些模型
ollama ls
# ls是list的缩写
ollama list

查看本地安装的大模型列表

7.4 查看ollama正在运行大模型的进程信息

# 查看ollama正在运行大模型的进程信息
ollama ps

查看ollama正在运行的大模型进程信息

7.5 下载大模型

ollama pull 模型名字 这个命令只会下载大模型,不会启动大模型。

# ollama pull 只下载大模型,不会启动大模型
ollama pull qwen3.5:9b

ollama官网查看各种大模型的名字。

在Ollama官网查看大模型的名字

7.6 运行大模型

ollama run 模型名字,这个命令会判断你要运行的大模型是否已下载到本地,如果没有下载,会先下载再运行。如果已经下载过了,直接运行本地大模型。

# 启动大模型
ollama run qwen3.5:9b

所以,使用ollama run这个命令时一定要指定具体的大模型版本,否则ollama就会自动帮你下载最新版本的大模型。如果你没注意的话,你都不知道ollama下载了最新版本的大模型。指定具体的大模型版本:ollama run qwen3.5:0.8b,只指定大模型名字不指定具体版本:ollama run qwen

7.7 默认下载最新版本的大模型

ollama run 模型名ollama pull 模型名 命令仅指定大模型名称、未标注具体版本号时,Ollama 会默认下载该模型的最新版本。比如:ollama run qwen。那怎么查看最新版本的大模型是哪一个版本呢?ollama官网中,模型的名字带有latest的就是最新版本的大模型。如下截图:

在Ollama官网搜索大模型的名字

查看latest最新版本的大模型的具体版本号

7.8 停止本地大模型

如果是通过ollama run qwen3.5:0.8b这种命令启动的大模型,那你直接在大模型对话框中输入/bye就能停止本地大模型的运行。如果你是通过后台服务启动的本地大模型,你需要输入如下命令:

# 停止通过后台服务启动的本地大模型
ollama stop qwen3.5:0.8b

7.9 删除本地大模型

# 删除本地安装的大模型,rm是remove删除的意思
ollama rm qwen3.5:0.8b

删除本地安装的大模型

7.10 停止Ollama serve服务

在执行ollama serve的终端窗口上按ctrl + c命令,终止ollama serve服务。

按ctrl+c终止ollama serve服务的运行

终止ollama serve之后再执行ollama相关命令就会报错

7.11 升级ollama

升级Ollama:

# 升级Ollama的版本
curl -fsSL https://ollama.com/install.sh | sh

升级Ollama

7.12 安装指定版本的ollama

安装或更新指定版本的ollama。

# 安装或更新指定版本的ollama
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

安装指定版本的ollama

7.13 卸载ollama

卸载ollama

结尾

关注我,下次讲讲怎么将本地部署的大模型通过公网端口暴露出去给你的朋友和家人用。
关注我,了解更多AI实用技巧,╰(°▽°)╯。