Ollama 是一个用于在本地轻松运行大型语言模型（LLM）的开源工具，支持多种主流开源模型（如 Llama、Qwen、DeepSeek 等），并提供兼容 OpenAI API 的接口，便于集成到各类应用中。
核心特点
- 一键部署：通过简单命令即可下载并运行大模型，无需手动处理依赖或配置。
- 本地运行：所有计算在本地设备完成，保障数据隐私，适合离线或内网环境。
- 模型自由切换：支持数百种开源模型，可随时更换不同大小、语言或能力的模型。
- OpenAI 兼容 API：提供
/v1/chat/completions等标准接口，可直接用 OpenAI 客户端（如 Pythonopenai库）调用。 - 跨平台支持：支持 Windows、macOS 和 Linux（包括 AMD 显卡加速）。
常用命令
运行模型（自动下载并启动）
ollama run qwen3:7b
仅下载模型不运行
ollama pull llama3:8b
查看已下载模型
ollama list
删除模型
ollama rm llama2:latest
修改默认服务端口（如改为 5656）
Windows：设置环境变量 OLLAMA_HOST=0.0.0.0:5656 后重启 Ollama
Linux：编辑服务配置添加 Environment="OLLAMA_HOST=0.0.0.0:5656"
国内用户可使用阿里魔搭（ModelScope）加速下载：
ollama pull modelscope.cn/Qwen/Qwen3-7B-GGUF
典型应用场景
- 本地 AI 助手：结合 OpenClaw、AnythingLLM 等工具构建私有化智能体 。
- 开发测试：快速验证模型在本地环境的表现，避免云端 API 费用和延迟。
- 教育与研究：对比不同模型、量化级别或提示词效果。
- 边缘设备部署：在树莓派、工控机等资源受限设备上运行轻量模型（需搭配 llama.cpp）。
安装方式
访问官方下载页面，根据操作系统选择安装方式：
-
Windows / macOS / Linux：
ollama.com/download
或直接在终端执行（Linux/macOS）：curl -fsSL https://ollama.com/install.sh | sh -
Windows PowerShell 安装命令：
irm https://ollama.com/install.ps1 | iex
与其他工具对比
| 工具 | 定位 | 适用人群 | 特点 |
|---|---|---|---|
| Ollama | 一站式部署 + API 服务 | 开发者、技术用户 | 命令行为主，支持 API，模型管理便捷 |
| llama.cpp | 底层推理引擎 | 高级用户、嵌入式开发者 | 极致性能，可高度定制，无 GUI |
| LM Studio | 可视化桌面工具 | 初学者、Prompt 调试者 | 鼠标操作，适合体验，不支持生产部署 |
如需进一步了解模型库或具体模型使用，可访问官方模型目录：
ollama.com/library
