Ollama 在 Linux 上的安装、配置和使用指南

Ollama 在 Linux 上的安装、配置和使用指南

一、安装 Ollama

• 快速安装： 一行命令搞定！

  curl -fsSL https://ollama.com/install.sh | sh
  

• 手动安装（如果快速安装不行）：

  1. 下载安装包：

     curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
     

  2. 解压到 /usr 目录：

     sudo tar -C /usr -xzf ollama-linux-amd64.tgz
     

  3. 启动 Ollama：

     ollama serve
     

  4. 验证是否启动成功：

     ollama -v
     

• 特定硬件安装：

  • AMD GPU： 额外下载并解压 ROCm 包。
  • ARM64： 下载并解压 ARM64 专用包。

二、配置 Ollama (推荐设置为开机自启动)

1. 创建用户和组：

   sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
   sudo usermod -a -G ollama $(whoami)
   

2. 创建服务文件： 在 /etc/systemd/system/ollama.service 中添加以下内容：

   [Unit]
   Description=Ollama Service
   After=network-online.target
   
   [Service]
   ExecStart=/usr/bin/ollama serve
   User=ollama
   Group=ollama
   Restart=always
   RestartSec=3
   Environment="PATH=$PATH"
   
   [Install]
   WantedBy=default.target
   

3. 启动服务：

   sudo systemctl daemon-reload
   sudo systemctl enable ollama
   

三、可选配置 (根据你的硬件选择)

• CUDA 驱动 (NVIDIA 显卡)：
  1. 下载并安装 CUDA 驱动。
  2. 验证安装：nvidia-smi
• ROCm 驱动 (AMD 显卡)：
  1. 下载并安装 ROCm 驱动。

四、启动和查看状态

sudo systemctl start ollama
sudo systemctl status ollama

五、自定义配置

• 修改 systemd 服务文件：sudo systemctl edit ollama
• 或者创建覆盖文件：/etc/systemd/system/ollama.service.d/override.conf

六、更新 Ollama

• 重新运行安装脚本：

  curl -fsSL https://ollama.com/install.sh | sh
  

• 或者重新下载安装包并解压。

七、安装指定版本

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

八、查看日志

journalctl -e -u ollama

九、卸载 Ollama

1. 停止并禁用服务：

   sudo systemctl stop ollama
   sudo systemctl disable ollama
   sudo rm /etc/systemd/system/ollama.service
   

2. 删除 Ollama 可执行文件：

   sudo rm $(which ollama)
   

3. 删除相关目录和用户：

   sudo rm -r /usr/share/ollama
   sudo userdel ollama
   sudo groupdel ollama
   

4. 删除库文件：

   sudo rm -rf /usr/local/lib/ollama