你还在每月烧token买API吗?Mac上用Ollama本地部署Gemma 4 / Qwen3.5 / GPT-OSS,一分钱不花,彻底玩转AI(保姆级攻略)

21 阅读3分钟

🧸直接付费买模型token 有时一不小心 就花了几百几千,非常痛心,不如试试本地大模型部署,今天带你们一起从0到1 部署Gemma 4 / Qwen3.5 /GPT-OSS

📝 安装前准备

一台MAC,苹果芯片最佳,至少16g,8g只能qwen,安装时需要网络畅通,使用无需!

打开终端 依次打开→启动台→其他→终端。 (题外话 如果不喜欢这个终端,推荐下载安装 iTerm )

notion image

安装工具

1.安装brew(已经安装可忽略)

shell

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

Shell

#Homebrew 5.1.6 显示版本号 则为安装成功

shell

brew --version 

Shell

2.安装llmfit 一个查看你电脑适合安装那个版本的工具 如果你下载的是不能安装的版本 那肯定是跑不动的了

shell

brew install llmfit  #如果安装不了需要 更新brew为最新  执行 brew update

Shell

#执行查看

shell

llmfit

Shell

安装成功,会响应这样一个页面 / 命令控制搜索 输入模型 gpt 搜索 看 Score就行 分数越高越好. 或者看Fit选Perfect 退出用ESC

notion image

  1. 安装ollma

shell

brew install --cask ollama

Shell

如下显示便是安装成功 同时ollama 也有图形界面 运行的话 在右上角会显示

notion image

notion image

安装大语言模型

目前市面上的大模型本地部署,优先选择 Gemma 4 > qwen3.5 > GPT-OSS !

Gemma 4 谷歌出品 最近风头正盛!关键词是端侧王者、代码专家。继承了 Google DeepMind 的学术血统。Gemma 4 在小参数规模(如 E2B, E4B)下表现惊人,能够直接在高端手机或笔记本电脑上流畅运行。其混合注意力机制让它在处理长文本时依然能保持极高的运行速度。

GPT-OSS OPENAI出品,最近表现中规中矩!关键词是逻辑天花板、智能体大脑。是 OpenAI 首次将核心推理技术(来自 o 系列模型)注入开源权重。其 GPT-OSS-120B 在逻辑推理和“思维链”(CoT)任务上几乎没有对手,但本地优先选择20B。它对指令的遵循能力(Instruction Following)极强,非常适合作为 AI Agent 的底层决策大脑。


qwen3.5 国产语言大模型,阿里出品,最近表现 关键词是多模态全能、中文语境之冠!Qwen 3.5 展示了中国模型在工程化上的极致效率。它是目前处理超长文本(最高支持 1M tokens)和复杂文档识别的最佳选择。此外,它在中文文化理解、成语应用及中文代码注释方面具有天然优势。其 Omni 版本更是具备原生的音频和视频理解能力。

安装大模型 Gemma 4 以26b 模型为例

shell

ollama run gemma4:26b

Shell

安装成功如下. /help查看命令行 /bye 退出对话

notion image

安装大模型 qwen3.5 以27b 模型为例

shell

ollama run qwen3.5:27b

Shell

如下图在思考就是安装好了 吃内存 我的电脑有在喊累,嗡嗡响,诉说不情愿,回复较慢!

notion image

安装大模型 **gpt-oss 以20b **模型为例

shell

ollama run gpt-oss:20b

Shell

notion image

🦾最后 和AI 测试对话

用这三句话或者随意

  • 你好 你是gemma吗你能帮我做什么

  • 你好 你是qwen? 你能帮我做什么

  • 你好 你是gpt-oss? 你能帮我做什么

notion image

本文首发Thinkwind文档💡 有任何问题 欢迎联系我 一起交流、学习讨论