为什么要本地部署一个大模型
之前觉得网站上部署的最高配版本的模型，没有必要在本地再部署一个了。而且部署模型对硬件的要求还挺高的。
但想到 AI 如果要应用到企业中的话，必定需要在本地部署模型，结合本地的知识库来提供服务。所以就想把整个流程熟悉一下，顺便分享出来，方便其他人学习和应用。
部署后，使用了一下，感觉效果还不错，而且现在一些模型对硬件成本已经没有那么高的要求了。所以推荐对 AI 感兴趣的朋友，都可以部署玩一下！
如何部署-Windows
在本地机器上部署大模型需要先下载一个叫做 Ollama 的东西，他提供了模型运行所需的环境。
访问官网：ollama.com，直接下载即可
安装完之后，可以在命令行执行一下指令，看是否安装成功
接下来选择要安装的模型
进入 models，可以看到可以下载的模型。有我们特别熟悉的 DeepSeek-R1，还有新出来的特别火的 qwen3。
这里我们以 qwen3 最小的的 0.6b 模型为例（别小看 0.6b，它可是 6 亿参数的模型）。选择模型后，上面会出现右上角的安装/运行指令。
Ollama 安装好之后，直接复制以上命令在 cmd 执行即可
使用完，如何关闭对话
下次如何运行该模型：打开 cmd，直接运行该命令即可
如何部署-Mac
上面 Windows 介绍了通过官网下载，下载后直接运行即可。但在 mac 上，下载后竟然是个 。zip 文件，而不是 dmp 文件。
尝试使用多个解压缩后，要么收费，要么提示无法减压。最终我采取了第二种安装方式。
通过 Homebrew 来安装 Ollama
安装 Homebrew（如果未安装）for mac
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
打开终端执行后续命令即可（后续都是直接输入命令，然后敲回车即可执行）
通过 Homebrew 安装 Ollama
brew install ollama
启动 Ollama 服务（与 Windows 不同的是在 mac 上，需要先执行一下命令，ollama 服务才会运行）
ollama serve
安装并运行 qwen1.7b（如果本地不存在会先安装该模型）
ollama run qwen3:1.7b
Mac 需要新开一个窗口来运行模型
本地部署后，一个非常大的优点是提问不再受限于网络。只要打开命令行/终端，就可以直接和 AI 进行对话，非常方便。
除此以外，我们还可以在浏览器上查看 ollama 服务器是否启动。
好了以上就是本次分享，安装中有任何问题，欢迎在评论区交流或私信我，如果觉得写得不错，不妨点个免费的小赞吧！
