Ollama 部署本地大模型 - 小白使用教程背景源于免费，所以要在local装ollama，是这个意思。什么是大

背景

源于免费，所以要在local装ollama，是这个意思。

什么是大语言模型?

大语言模型就是基于海量文本训练出来的程序，它能够理解、生成文字，甚至能做推理、写代码、翻译等工作。比如ChatGPT、Gemini、Claude、千问、豆包、DeepSeek这些都是大语言模型。

什么是Ollama?

Ollama是一个用于在本地电脑上运行大型语言模型(LLM)的开源工具。简单来说，它可以下载网上发布的开源大模型，然后在自己的电脑上运行。

为什么要使用Ollama?

隐私、安全，数据在本地
不花钱，不按次数收费, 外面的API按token收费，自动化任务用多了贵(例如Openclaw)。

如何使用Ollama?

首先是下载安装，这里列举如何在Ubuntu下安装更新Ollama。 1、Ollama的安装脚本也是更新脚本，在终端执行:

curl -fsSL https://ollama.com/install.sh | sh

在跑了，接下来做的就是等待。

2、验证更新，在终端执行:

ollama --version

3、拉取模型，要了解 Ollama 可以拉取那些模型，最直观的方法就是通过 Ollama的官方模型库网站。

可以在浏览器中访问：ollama.com/library

推荐 qwen3.5，可以根据显卡的情况来选择，网址： ollama.com/library/qwe…

这里选择qwen3.5:35b，为什么呢？因为我有 2长 NVIDIA GeForce RTX 4090 的显卡，并且在 PinchBench 这个网站上看到的，网址： pinchbench.com 它是一个测评网站，可以直观地告诉你运行 Openclaw 用哪个模型最好，性价比最高。

表格各列代表的具体含义：

Name(名称）：列出了模型的不同版本。带有数字和字母“b”的后缀（比如 0.8b,9b,122b）代表模型的藏书量（b、代表 billion，即十亿参数）。参数量越大，模型通常越聪明、能力越强，但也需要更高的电脑硬件配置来运行。

Size(文件大小)：模型文件占用的存储空间大小（例如 6.6GB 81GB）。这也大致反映了运行该模型所需要的内存或显存大小。

Context(上下文窗口)：这里的 256K 表示模型一次可以处理和记忆的最大内容长度为 25.6万个 Token（大约相当于几十万字，可以塞进一整本厚书）。这意味着他可以处理非常长的文档或对话记录。

Input(输入类型)：显示为 Text,image，说明这是一个多模态模型，它不仅能和你进行文字对话（Text），还能看懂你发给它的图片（Image）。

跑 ollama

brew services start ollama

==> Successfully started ollama (label: homebrew.mxcl.ollama)

ollama list

目前还没有。

这张图传递了一个非常震撼的信息:一个参数量为27b的开源模型(Qwen3.5-27b)，在特定任务的最高表现上(90.0%)，已经极其逼近像GPT-5.4这样顶级的闭源商业大模型(90.5%)。虽然 Qwen的平均分(78.5%)稍微落后一点，但考虑到它的体量较小且可以像我们刚才讨论的那样在个人电脑的显卡(比如 RTX4090)上免费本地运行，这个成绩可以说是极其优秀的，性价比极高。

4、知道选取什么模型后，就可以拉取模型了，会帮你自动下载，在终端执行:

ollama pull qwen3.4:35b

在拉大模型 qwen3.4:35b

下载完成后，就可以再看看 ollama list 看看模型列表

然后有的话就代表成功了，就可以启动这个模型了， ollama run qwen3.4:35b

可以输入文字和模型进行聊天，输入:/bye 可以退出模型的对话界面。

这样一来，Ollama上本地部署大模型就完成了，也不用去停止它，默认5分钟没人调用模型，它就自动卸载了，有人调用他又会自动装载，你可以用 ollama ps 去观察。

但我要用这个大模型，似乎不太方便，每次我都要访问服务器，然后用命令行窗口，跟模型对话。有没有更便捷的方式，让我自己的电脑也可以使用，并且像使用ChatGPT那样提供可视化的界面给我?

有的，现在来讲一下我是怎么做的。首先要配置一下服务器的ollama，让本地的其他电脑也能够访问。第一步:修改Ollama服务配置

1、在终端运行以下命令打开配置编辑器: sudo systemctl edit ollama.service

homebrew 安装的 ollama 配置本地服务器地址

先停止服务

brew services stop ollama
killall ollama

问题说明

brew 的 ollama plist 不在 ~/Library/LaunchAgents，新版Homebrew安装的服务plist存放路径：

/opt/homebrew/opt/ollama/homebrew.mxcl.ollama.plist

Mac mini 是 Apple Silicon（M系列），Homebrew 安装目录默认 /opt/homebrew

方案1：正确操作流程（Apple Silicon brew ollama）

1. 先停止服务

brew services stop ollama
killall ollama

2. 复制plist到LaunchAgents（brew不会自动创建，手动生成）

cp /opt/homebrew/opt/ollama/homebrew.mxcl.ollama.plist ~/Library/LaunchAgents/

3. 写入环境变量

plutil -insert EnvironmentVariables -dict ~/Library/LaunchAgents/homebrew.mxcl.ollama.plist
plutil -insert EnvironmentVariables.OLLAMA_HOST -string "0.0.0.0" ~/Library/LaunchAgents/homebrew.mxcl.ollama.plist
plutil -insert EnvironmentVariables.OLLAMA_ORIGINS -string "*" ~/Library/LaunchAgents/homebrew.mxcl.ollama.plist

4. 加载并启动服务

launchctl unload ~/Library/LaunchAgents/homebrew.mxcl.ollama.plist
launchctl load ~/Library/LaunchAgents/homebrew.mxcl.ollama.plist
brew services start ollama

方案2：极简兜底方案（推荐，避开plist各种坑）

brew services 模式修改plist经常失效，改用启动脚本方式，或者直接使用常驻启动命令测试：

临时测试（优先执行，先验证能不能局域网访问）

新开终端运行，窗口不要关闭：

OLLAMA_HOST=0.0.0.0 OLLAMA_ORIGINS=* ollama serve

其他设备访问 http://Mac内网IP:11434 ✅ 能访问 = 配置参数没问题，只是brew后台服务无法加载环境变量 ❌ 不能访问 = 防火墙/局域网问题

永久后台运行替代brew services

如果你不想折腾plist，可以使用 launchd 自定义plist：

创建自定义配置

cat > ~/Library/LaunchAgents/local.ollama.plist <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>local.ollama</string>
    <key>ProgramArguments</key>
    <array>
        <string>/opt/homebrew/bin/ollama</string>
        <string>serve</string>
    </array>
    <key>EnvironmentVariables</key>
    <dict>
        <key>OLLAMA_HOST</key>
        <string>0.0.0.0</string>
        <key>OLLAMA_ORIGINS</key>
        <string>*</string>
    </dict>
    <key>RunAtLoad</key>
    <true/>
    <key>StandardOutPath</key>
    <string>/tmp/ollama.log</string>
    <key>StandardErrorPath</key>
    <string>/tmp/ollama.err.log</string>
</dict>
</plist>
EOF

2. 关闭brew自带ollama服务，启用自定义服务

brew services stop ollama
launchctl unload ~/Library/LaunchAgents/homebrew.mxcl.ollama.plist
launchctl load ~/Library/LaunchAgents/local.ollama.plist

这个自定义plist独立生效，不受brew更新覆盖，环境变量永久生效。

验证命令

lsof -i :11434

看到 *:11434 (LISTEN) 代表监听全部网卡，局域网可访问。

额外提醒

macOS防火墙记得放行；手机/电脑必须连接同一个Wi-Fi，注意路由器2.4G/5G隔离、访客网络隔离。

你先执行临时serve命令测试，告诉我其他设备能不能打开链接，我再继续下一步。

第二步:重启服务使配置生效
重新加载systemd守护进程并重启 Ollama 服务:
sudo systemctl daemon-reload
sudo systemctl restart ollama
个
第三步:检查防火墙设置(如果开启了UFW)如果你的Ubuntu 服务器开启了UFW 防火墙，你需要放行 Ollama的默认端口11434,否则局域网的其他机器仍然会被拦截。#查看防火墙状态
sudo ufw status

第四步:测试局域网访问在局域网其他电脑的浏览器中输入http://172.16.248.3:11434，如果网页上显示 Ollama isrunning，说明局域网配置已经完美成功!

然后就是使用提供可视化界面的工具，这里介绍2款工具，Chatbox和Cherry Studio。
这里演示Chatbox，Cherry Studio也是类似做法，不一一列举。

下一个 Chatbox 或者 Cherry Studio 图形界面AI连接壳，然后去配置本地的，

我下的是 Cherry Studio，是这样的

在众多模型平台中找到 Ollama，然后点击进去配置即可

没有密钥就不填，直接点击检测，如果你本地走是通的，那就是通的，肯定检测得过。

完成✅

下一篇讲一下 Hermes 配置本地 Ollama，免费，然后最后连飞书管理一下服务器仓库，搞一个服务器仓库管理员出来为我效劳，好了，就这么多了。

Ollama 部署本地大模型 - 小白 使用教程

背景