一、ollama安装
Windows
打开ollama官网 Download Ollama on Windows
下载好后Windows安装包后点击安装,默认安装路径在C:\Users<用户名>\AppData\Local\Programs\Ollama
Linux
打开ollama官网Download Ollama on Linux
运行命令后,ollama开始下载
离线安装
有时候由于网络原因会导致下载失败,这时我们可以采用离线安装的方式
- 下载ollama安装包,并保存到
/home/ubuntu/ollama目录
- cd 到ollama安装包所在位置,解压安装包
- 新建服务配置文件 使用vim命令新建服务配置文件
vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/home/ubuntu/ollama/bin/ollama serve # 修改为ollama安装路径
User=ubuntu
Group=ubuntu
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置,可以直接在外网下载好模型,打包解压到内网的ollama的模型目录下,就能实现离线安装了
Environment="OLLAMA_MODELS=/home/ubuntu/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"
[Install]
WantedBy=default.target
- 输入以下命令重新加载服务,并将ollama设置为自启动
systemctl daemon-reload # 重新加载服务
systemctl enable ollama # 自启动
systemctl start ollama # 开启ollama服务
# 可以通过以下命令查看ollama服务运行状态
systemctl status ollama
- 配置全局环境变量
输入命令
vim /etc/profile.d/ollama.sh
# 将该段内容写入ollama.sh中
PATH=$PATH:/home/ubuntu/ollama/bin # 注意修改为ollama安装路径/bin
export PATH
- 操作完成后,输入命令:
source /etc/profile刷新环境
二、deepseek-r1:7b模型下载
输入:ollama run deepseek-r1:7b下载模型,后续启动模型也是这个命令
下载完成后,就可以输入你想问的内容进行提问了
离线部署模型
有时在线下载可能受网络影响,或者想将一台设备上的模型迁移至另一模型
ps:ollama默认使用GPU运行,如果检测不到会使用CPU,如果你是在安装ollama后,再安装的驱动GPU是不会被使用的,解决方法就是重新安装ollama