ollama本地部署deepseek:7b模型

2,032 阅读1分钟

一、ollama安装

Windows

打开ollama官网 Download Ollama on Windows

image.png 下载好后Windows安装包后点击安装,默认安装路径在C:\Users<用户名>\AppData\Local\Programs\Ollama

Linux

打开ollama官网Download Ollama on Linux

image.png

运行命令后,ollama开始下载

image.png

离线安装

有时候由于网络原因会导致下载失败,这时我们可以采用离线安装的方式

  1. 下载ollama安装包,并保存到/home/ubuntu/ollama目录

下载地址:github.com/ollama/olla…

image.png

  1. cd 到ollama安装包所在位置,解压安装包

image.png

  1. 新建服务配置文件 使用vim命令新建服务配置文件

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/home/ubuntu/ollama/bin/ollama serve  # 修改为ollama安装路径
User=ubuntu
Group=ubuntu
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置,可以直接在外网下载好模型,打包解压到内网的ollama的模型目录下,就能实现离线安装了
Environment="OLLAMA_MODELS=/home/ubuntu/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target
  1. 输入以下命令重新加载服务,并将ollama设置为自启动
systemctl daemon-reload # 重新加载服务

systemctl enable ollama # 自启动

systemctl start ollama # 开启ollama服务

# 可以通过以下命令查看ollama服务运行状态
systemctl status ollama

image.png

  1. 配置全局环境变量

输入命令 vim /etc/profile.d/ollama.sh

# 将该段内容写入ollama.sh中
PATH=$PATH:/home/ubuntu/ollama/bin  # 注意修改为ollama安装路径/bin
export PATH
  1. 操作完成后,输入命令:source /etc/profile刷新环境

二、deepseek-r1:7b模型下载

输入:ollama run deepseek-r1:7b下载模型,后续启动模型也是这个命令 下载完成后,就可以输入你想问的内容进行提问了

image.png

离线部署模型

有时在线下载可能受网络影响,或者想将一台设备上的模型迁移至另一模型

image.png ps:ollama默认使用GPU运行,如果检测不到会使用CPU,如果你是在安装ollama后,再安装的驱动GPU是不会被使用的,解决方法就是重新安装ollama