告别网络延迟与隐私焦虑！手把手教你用 Ollama 本地部署大模型，做AI的主人Ollama 是一个专为本地运行大语言模

本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在智泊AI。

一、为什么选择本地部署？三大痛点，一招解决

速度慢？不存在的！ 在线模型依赖服务器响应，高峰期排队、加载卡顿是常态。本地运行，你的CPU/GPU就是算力中心，响应速度取决于你的设备，通常比在线服务快得多，真正做到“秒回”。
隐私泄露？绝不妥协！ 输入的敏感信息、工作文档、私人对话……上传到云端总有风险。本地部署意味着所有数据都在你自己的硬盘里流转，不经过任何第三方服务器，安全感拉满。
功能受限？自由定制！ 在线平台常有字数限制、功能阉割或内容过滤。本地模型由你掌控，可以随意调整参数、接入不同工具、甚至进行微调，打造专属的“智能助理”。

核心利器：Ollama —— 让本地大模型像手机APP一样简单

Ollama 是一个专为本地运行大语言模型设计的开源工具。它的理念是：“让大模型在个人电脑上运行变得像安装一个应用一样简单”。它支持 Windows、macOS 和 Linux 系统，并提供了海量经过优化的主流模型（如 Llama 3, Mistral, Gemma, Qwen 等），一键下载，开箱即用。

二、保姆级教程：三步开启你的本地AI之旅

第一步：安装 Ollama

Windows / macOS 用户：

打开浏览器，访问 Ollama 官网：ollama.com
点击页面上的 Download 按钮，自动下载对应系统的安装包。

（1）直接双击安装，但是会默认安装在C盘。

（2）使用代码安装，可安装任意目录。

OllamaSetup.exe /dir="D:\Installment\Ollama” 根据个人情况选择安装目录

点击Install，安装即可。

此时ollama被安装到了D盘。

重新打开CMD命令窗口，输入ollama list，出现以下界面。（新版ollama安装完成后会直接弹出对话窗口）

第二步：下载并运大模型

Ollama 提供了简洁的命令行操作。打开你的终端（Terminal）或命令提示符（CMD/PowerShell）。

下载模型：

根据自己的选择相应的模型

这里选择qwen3 1.7b

ollama run qwen3:1.7b

等待下载完成即可。

下载完成后，可直接问答

第三步：修改模型保存路径

此时模型保存路径是在 C:\Users\你的用户名.ollama

（1）打开 “开始” 菜单，搜索 “环境变量”，点击 “编辑系统环境变量”。

（2）在 “系统属性” 窗口中，点击 “环境变量” 按钮。

（3）在 “用户变量” 下，点击 “新建”，输入变量名 “ollama_models”，变量值为你想要存储模型的目录路径，如 “D:\ollama_models”，点击 “确定” 保存更改。

（4）若 Ollama 已经在运行，需先关闭托盘应用程序，然后从开始菜单重新启动，或在保存环境变量后启动新的终端。在模型存放目录会生成下面两个新的文件夹，此时目录更改成功。

第四步：指定GPU运行模型和局域网访问

1）指定GPU运行模型

在环境变量中分别配置

OLLAMA_GPU_LAYER :cuda

CUDA_VISIBLE_DEVICES : uid

PS: 查询uuid

nvidia-smi --query-gpu=uuid,name,pci.bus_id,index --format=csv

2）局域网访问Ollama****

http://127.0.0.1:11434/

此时能访问本地地址，但是无法访问局域网ip

在环境变量中配置ollama_host : 0.0.0.0

此时可通过局域网ip访问ollama

PS 在环境变量中配置ollama_host : 0.0.0.0，可修改访问端口

结语：拥抱本地AI新时代

Ollama 降低了本地运行大模型的技术门槛，让每个人都能轻松拥有一个私密、快速、可控的AI伙伴。无论是程序员、学生、作家还是研究者，本地大模型都能成为你生产力的强大倍增器。

现在，就是行动的最佳时机。 花上半小时，跟着本文步骤，在你的电脑上部署一个属于你的大模型吧！当AI真正运行在你的指尖，那种掌控感和效率提升，会让你感叹：原来未来已来。

学习资源推荐

如果你想更深入地学习大模型，以下是一些非常有价值的学习资源，这些资源将帮助你从不同角度学习大模型，提升你的实践能力。