Linux 下 Ollama 完整实操指南:安装、部署大模型与开启远程访问

8 阅读4分钟

Linux 下 Ollama 完整实操指南:安装、部署大模型与开启远程访问

摘要:本文主要讲解在 Linux 环境下如何安装 Ollama,使用 Ollama 命令行管理大模型,同时配置远程访问,附带常用指令实操示例,适合本地私有化部署大模型快速上手。

前言

Ollama 是一款非常好用的本地大模型运行工具,可以简单快速地在本地部署、运行各类开源大模型(Qwen、Llama、Phi 等),不需要复杂的编译配置,一条命令即可完成模型下载和运行。本篇博客记录 Linux 环境下 Ollama 的实操流程与核心命令,方便快速查阅。

配套环境补充:文中同时提及 Linux 下 Anaconda 的安装,Anaconda 可以用来管理 Python 环境,方便后续开发对接 Ollama API。

一、Linux 安装部署 Ollama

1. 一键安装命令

Ollama 官方提供一键安装脚本,直接在终端执行:

curl -fsSL [https://ollama.com/install.sh](https://ollama.com/install.sh) | sh

执行完成后,ollama 服务会自动后台启动。

2. 验证安装是否成功

ollama --version

输出版本号即代表安装成功。

二、Ollama 核心客户端命令大全

Ollama 提供丰富的命令行工具,实现模型下载、运行、查看、复制、删除等全生命周期管理,下面整理高频实操命令。

1. run:运行大模型

如果本地不存在该模型,会自动先下载模型,之后进入交互式对话;本地已存在则直接启动对话。

语法示例:

ollama run qwen2.5:7b

执行后即可直接和大模型在终端进行对话,输入 /bye 退出对话会话。

2. show:查看模型详细信息

查看模型参数、模板、系统提示词等元信息。

ollama show qwen2.5:7b

3. pull:仅下载模型(不进入对话)

只拉取下载模型文件,适合提前预下载模型,后续再运行。

ollama pull qwen2.5:7b

4. list:列出本地已经下载的所有模型

查看本机磁盘上全部的 ollama 模型,显示模型名称、大小等信息。

ollama list

5. ps:查询当前正在运行的模型

查看后台正在运行的模型实例,包含占用资源信息。

ollama ps

6. cp:复制模型

对现有模型做副本,常用于基于原有模型修改 Modelfile,制作自定义模型。

ollama cp qwen2.5:7b qwen2.5_cp

7. rm:删除本地模型

删除磁盘上不需要的模型文件,释放存储空间。

ollama rm qwen2.5:7b

三、开启 Ollama 远程访问

默认情况下 Ollama 只允许本机访问,如果需要局域网/其他机器调用 Ollama API,需要修改环境变量开放监听地址。

1. 修改 systemd 服务配置

编辑 ollama 服务环境配置:

systemctl edit ollama.service

写入下面内容,允许监听全部网卡:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

2. 重载配置并重启服务

systemctl daemon-reload
systemctl restart ollama

3. 防火墙放行端口

Ollama 默认端口 11434,防火墙需要放行该端口:

# firewalld 示例
firewall-cmd --add-port=11434/tcp --permanent
firewall-cmd --reload

4. 验证远程调用

在其他机器访问接口测试,把 IP 替换为部署机器的 IP:

curl http://你的服务器IP:11434/api/tags

能够返回模型列表 JSON,说明远程访问配置成功。

四、Linux 环境安装 Anaconda(可选)

场景:如果需要写 Python 程序调用 Ollama API、做二次开发,可以安装 Anaconda 管理 Python 虚拟环境。

  1. 前往 Anaconda 官网复制 Linux 版本下载链接,wget 下载脚本;
  2. bash 执行下载的 sh 脚本,按照提示完成安装;
  3. 生效环境变量:source ~/.bashrc;
  4. 验证:conda -V。

五、简单开发调用示例(Python)

安装 ollama python 库

pip install ollama

简单调用示例:

import ollama

res = ollama.chat(
    model="qwen2.5:7b",
    messages=[{"role":"user","content":"简单介绍一下Ollama"}]
)
print(res['message']['content'])

总结

  1. Ollama 通过简单脚本即可在 Linux 完成安装,开箱即用运行开源大模型;
  2. 记住常用命令:run/pull/list/show/ps/cp/rm,可以完成绝大多数模型管理操作;
  3. 设置 OLLAMA_HOST=0.0.0.0:11434 开启远程访问,其他设备就可以调用本地部署的大模型;
  4. 配合 Anaconda + Python SDK,可快速做上层业务二次开发。

小提示:模型大小越大,对服务器内存、显存要求越高,按需选择适合自己硬件的模型版本。