🧸直接付费买模型token 有时一不小心 就花了几百几千,非常痛心,不如试试本地大模型部署,今天带你们一起从0到1 部署Gemma 4 / Qwen3.5 /GPT-OSS
📝 安装前准备
一台MAC,苹果芯片最佳,至少16g,8g只能qwen,安装时需要网络畅通,使用无需!
打开终端 依次打开→启动台→其他→终端。 (题外话 如果不喜欢这个终端,推荐下载安装 iTerm )
安装工具
1.安装brew(已经安装可忽略)
shell
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
Shell
#Homebrew 5.1.6 显示版本号 则为安装成功
shell
brew --version
Shell
2.安装llmfit 一个查看你电脑适合安装那个版本的工具 如果你下载的是不能安装的版本 那肯定是跑不动的了
shell
brew install llmfit #如果安装不了需要 更新brew为最新 执行 brew update
Shell
#执行查看
shell
llmfit
Shell
安装成功,会响应这样一个页面 / 命令控制搜索 输入模型 gpt 搜索 看 Score就行 分数越高越好. 或者看Fit选Perfect 退出用ESC
- 安装ollma
shell
brew install --cask ollama
Shell
如下显示便是安装成功 同时ollama 也有图形界面 运行的话 在右上角会显示
安装大语言模型
目前市面上的大模型本地部署,优先选择 Gemma 4 > qwen3.5 > GPT-OSS !
Gemma 4 谷歌出品 最近风头正盛!关键词是端侧王者、代码专家。继承了 Google DeepMind 的学术血统。Gemma 4 在小参数规模(如 E2B, E4B)下表现惊人,能够直接在高端手机或笔记本电脑上流畅运行。其混合注意力机制让它在处理长文本时依然能保持极高的运行速度。
GPT-OSS OPENAI出品,最近表现中规中矩!关键词是逻辑天花板、智能体大脑。是 OpenAI 首次将核心推理技术(来自 o 系列模型)注入开源权重。其 GPT-OSS-120B 在逻辑推理和“思维链”(CoT)任务上几乎没有对手,但本地优先选择20B。它对指令的遵循能力(Instruction Following)极强,非常适合作为 AI Agent 的底层决策大脑。
qwen3.5 国产语言大模型,阿里出品,最近表现 关键词是多模态全能、中文语境之冠!Qwen 3.5 展示了中国模型在工程化上的极致效率。它是目前处理超长文本(最高支持 1M tokens)和复杂文档识别的最佳选择。此外,它在中文文化理解、成语应用及中文代码注释方面具有天然优势。其 Omni 版本更是具备原生的音频和视频理解能力。
安装大模型 Gemma 4 以26b 模型为例
shell
ollama run gemma4:26b
Shell
安装成功如下. /help查看命令行 /bye 退出对话
安装大模型 qwen3.5 以27b 模型为例
shell
ollama run qwen3.5:27b
Shell
如下图在思考就是安装好了 吃内存 我的电脑有在喊累,嗡嗡响,诉说不情愿,回复较慢!
安装大模型 **gpt-oss 以20b **模型为例
shell
ollama run gpt-oss:20b
Shell
🦾最后 和AI 测试对话
用这三句话或者随意
-
你好 你是gemma吗你能帮我做什么
-
你好 你是qwen? 你能帮我做什么
-
你好 你是gpt-oss? 你能帮我做什么
本文首发Thinkwind文档💡 有任何问题 欢迎联系我 一起交流、学习讨论