Ollama使用CUDA
Ollama 是一个本地运行大型语言模型（LLM）的工具，支持多种开源模型（如 LLaMA、Mistral 等）。如果你想在 Ollama 中使用 CUDA 加速（即利用 NVIDIA GPU 进行计算），需要确保以下几点：
1. 确保环境支持 CUDA
1.1 检查 NVIDIA 驱动和 CUDA 工具包
- 确保已安装 NVIDIA 驱动程序。
- 安装与驱动程序兼容的 CUDA 工具包（如 CUDA 11.8 或 12.x）。
- 安装 cuDNN 库（CUDA 深度神经网络库）。
1.2 检查 PyTorch 或 TensorFlow 是否支持 CUDA
如果你使用的是 PyTorch 或 TensorFlow 作为后端，可以通过以下命令检查 CUDA 是否可用
- PyTorch
import torch
print(torch.cuda.is_available()) # 返回 True 表示 CUDA 可用
print(torch.cuda.get_device_name(0)) # 打印 GPU 名称
- TensorFlow
import tensorflow as tf
print(tf.config.list_physical_devices('GPU')) # 返回 GPU 设备列表
如果 CUDA 不可用，请重新安装支持 CUDA 的 PyTorch 或 TensorFlow 版本。
2. 配置 Ollama 使用 CUDA
Ollama 本身并不直接提供 CUDA 配置选项，但你可以通过以下方式确保 Ollama 使用 GPU 加速：
2.1 使用支持 CUDA 的后端
Ollama 通常依赖于 PyTorch 或 TensorFlow 作为后端。确保这些框架已正确配置为使用 CUDA。
2.2 设置环境变量
在运行 Ollama 之前，设置以下环境变量以确保使用 GPU：
- PyTorch
export CUDA_VISIBLE_DEVICES=0 # 指定使用的 GPU 设备
- TensorFlow
export TF_FORCE_GPU_ALLOW_GROWTH=true # 允许 GPU 内存动态增长
2.3 启动 Ollama
在确保 CUDA 可用后，正常启动 Ollama。Ollama 会自动检测并使用 GPU。
3. 验证CPU使用情况
启动 Ollama 后，可以通过以下方法验证是否使用了 GPU：
3.1 使用 nvidia-smi 监控 GPU
运行以下命令查看 GPU 使用情况：
nvidia-smi
如果 Ollama 正在使用 GPU，你会看到相关的进程和显存占用。
3.2 检查 Ollama 日志
Ollama 的日志中通常会显示是否使用了 GPU。例如：
Using GPU: True
