序言
本文介绍基于 WSL(Windows Subsystem for Linux)和Ollama、OpenCode部署和使用本地离线大模型。若你尚未安装 WSL,请查阅这篇文章《极简 WSL2 教程:开发、部署大模型必备》。
WSL的基本使用和开发环境搭建,请查阅这篇文章《2026 最新版:WSL + Ubuntu 全栈开发环境,一篇搞定!》。
OpenCode的安装,请查阅这篇文章《WSL + OpenCode 最佳实践:环境一致、模型配置、GUI 远程使用》。
Ollama的安装,请查阅这篇文章《保姆级教程:WSL 安装 Ollama,本地免费跑开源大模型》。
1. 根据电脑配置选择大模型
要在电脑上部署本地大模型,首先需要确认你的电脑配置能够运行哪款大模型。访问这个网站canirun,看看你的电脑配置能跑起来哪种大模型?
1.1 canirun网站使用说明
该网站会读取你的电脑配置,并基于配置对所有开源大模型进行分级。S 级为最适配你电脑的大模型(可流畅运行),A 级为适配性良好的大模型(可正常运行),B 级为你的电脑勉强能运行的大模型。还有C级、D级、F级,这几个级别的大模型你本地电脑基本上运行不起来。
1.2 选择适合自己电脑的大模型
2. 安装并运行本地大模型
以下命令会执行两个操作:首先检测本地是否已下载 qwen3.5:0.8b 大模型;若已下载,则直接运行该模型;若未下载,则先下载模型,下载完成后自动运行。
ollama run qwen3.5:0.8b
2.1 查看大模型详情
执行上述命令前,建议先前往 Ollama 官网查看该大模型的详细信息。
2.2 启动Ollama服务
从上图可看出,要在本地安装大模型,需先执行 ollama serve 命令,在本地启动 Ollama 服务进程。
在新打开的终端窗口中执行以下命令:
# 启动WSL
wsl -d Ubuntu
# cd命令进入用户的home(家)目录
cd
# 下载并安装运行qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b
2.3 使用大模型
安装好大模型之后,ollama run qwen3.5:0.8b这个命令会直接将本地大模型启动起来,你可以直接在终端窗口跟大模型聊天。
2.4 识别图片内容
2.5 关闭大模型
/bye:在聊天界面输入/bye,就可以暂时退出大模型的聊天界面。
2.6 重新启动大模型
# 重新启动qwen3.5:0.8b这个大模型
ollama run qwen3.5:0.8b
3. 本地大模型使用帮助文档
我们使用ollama run qwen3.5:0.8b这个命令启动本地大模型之后,ollama会给我们一个提示:“输入/? 获取帮助”,输入斜杠+问号:/?。
4. 让OpenCode使用我们本地大模型
使用ollama launch opencode启动OpenCode:
# 通过ollama启动OpenCode
ollama launch opencode
4.1 启动时指定大模型
可以使用下面的命令,在启动的时候直接指定大模型的名字。让opencode使用我们指定的大模型:
# 指定opencode使用qwen3.5:0.8b这个大模型
ollama launch opencode --model qwen3.5:8b
4.2 model.json配置文件
查看ollama修改后的model.json配置文件内容:
# 使用cd命令进入opencode的配置文件所在目录
cd /home/wangyi/.local/state/opencode
# 使用cat 命令查看model.json配置文件
cat model.json
4.3 ollama launch命令的作用
ollama launch opencode这个命令的唯一作用就是帮我们修改OpenCode的配置文件,在OpenCode的配置文件中增加本地大模型的配置。这个命令成功执行一次之后,后续我们就可以不使用ollama launch opencode启动OpenCode了,直接通过OpenCode本来的命令opencode启动就可以了。
5. 使用VSCODE连接WSL通过OpenCode使用本地大模型
在Windows上面打开VSCODE,远程连接到WSL上面进行代码开发。把Windows当成一个纯终端软件。
5.1 opencode.json配置文件
在VSCODE中通过ollama launch opencode使用opencode时,ollama会自动修改opencode.json这个配置文件并在配置文件中增加BASEURL配置。通过如下命令查看修改后的配置文件:
# 使用cd 命令进入用户的 home(家)目录
cd /home/wangyi/.config/opencode
# 使用cat命令查看opencode.json配置文件
cat opencode.json
6. 使用IDEA连接WSL通过OpenCode使用本地大模型
在Windows上面打开IDEA,远程连接到WSL上面进行代码开发。把Windows当成一个纯终端软件。
7. Ollama常用命令
Ollama常用命令可参考Ollama官网:Ollama官网常用命令和 Ollama的Linux常用命令。
7.1 查看大模型的详细信息
# 查看大模型的详细信息
ollama show qwen3.5:0.8b
ollama show qwen3.5:0.8b --modelfile
7.2 查看大模型的安装目录
本地大模型的安装目录为:~/.ollama/models或/usr/share/ollama/.ollama/models
# ~这个符号代表当前登录用户的home(家)目录
cd ~/.ollama/models/
# 查看目录下的文件列表
ls -la
7.3 查看本地都安装了哪些模型
# 查看本地都安装了哪些模型
ollama ls
# ls是list的缩写
ollama list
7.4 查看ollama正在运行大模型的进程信息
# 查看ollama正在运行大模型的进程信息
ollama ps
7.5 下载大模型
ollama pull 模型名字 这个命令只会下载大模型,不会启动大模型。
# ollama pull 只下载大模型,不会启动大模型
ollama pull qwen3.5:9b
在ollama官网查看各种大模型的名字。
7.6 运行大模型
ollama run 模型名字,这个命令会判断你要运行的大模型是否已下载到本地,如果没有下载,会先下载再运行。如果已经下载过了,直接运行本地大模型。
# 启动大模型
ollama run qwen3.5:9b
所以,使用ollama run这个命令时一定要指定具体的大模型版本,否则ollama就会自动帮你下载最新版本的大模型。如果你没注意的话,你都不知道ollama下载了最新版本的大模型。指定具体的大模型版本:ollama run qwen3.5:0.8b,只指定大模型名字不指定具体版本:ollama run qwen。
7.7 默认下载最新版本的大模型
当 ollama run 模型名 或 ollama pull 模型名 命令仅指定大模型名称、未标注具体版本号时,Ollama 会默认下载该模型的最新版本。比如:ollama run qwen。那怎么查看最新版本的大模型是哪一个版本呢?ollama官网中,模型的名字带有latest的就是最新版本的大模型。如下截图:
7.8 停止本地大模型
如果是通过ollama run qwen3.5:0.8b这种命令启动的大模型,那你直接在大模型对话框中输入/bye就能停止本地大模型的运行。如果你是通过后台服务启动的本地大模型,你需要输入如下命令:
# 停止通过后台服务启动的本地大模型
ollama stop qwen3.5:0.8b
7.9 删除本地大模型
# 删除本地安装的大模型,rm是remove删除的意思
ollama rm qwen3.5:0.8b
7.10 停止Ollama serve服务
在执行ollama serve的终端窗口上按ctrl + c命令,终止ollama serve服务。
7.11 升级ollama
升级Ollama:
# 升级Ollama的版本
curl -fsSL https://ollama.com/install.sh | sh
7.12 安装指定版本的ollama
安装或更新指定版本的ollama。
# 安装或更新指定版本的ollama
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
7.13 卸载ollama
结尾
关注我,下次讲讲怎么将本地部署的大模型通过公网端口暴露出去给你的朋友和家人用。
关注我,了解更多AI实用技巧,╰(°▽°)╯。