虚拟机下 Docker 安装 ollama

docker 下安装还是比较简单的

1、安装 NVIDIA Container Toolik （Nvidia GPU）

1、Configure the repository
curl -s -L <https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo> \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2、Install Nvidia Container Toolkie package 
sudo yum install -y nvidia-container-toolkit

2、Configure Docker to use Nvidia driver

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

3、拉取镜像运行

docker run -d --gpus=all -v /home/docker/ollama/base:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

4、Ollama 运行模型 我这里使用千问的训练数据

docker exec -it ollama ollama run qwen:14b

运行后就可以进行交互了，

支持的模型可在 Ollama 官网上找找ollama.com/library

期间遇到的问题：

运行后发现 反应特别慢，观察日志发现貌似 未使用 GPU加速，

CPU does not have AVX or AVX2, disabling GPU support

查看显卡情况也未发现 存在使用 nvidia-smi

查看到服务器 CPU （命令：cat /proc/cpuinfo） 显示的是 虚拟的 CPU

了解到 Windows 下开启虚拟机 是可以将 CPU 型号透露给虚拟机。

再次检查时就发现已包含 Avx指令集