鉴于ollama的文档非常混乱,把我常用的需要备注的点记录在这里
FQA
Install
linux安装脚本当前会尝试下载两种安装包,真实下载地址其实是github,国内的原因,很难完成下载,旧版可以通过github镜像下载,新版的下载地址没法镜像,所以需要本地先下载好,然后修改安装脚本跳过下载阶段:
$SUDO tar -xzf ollama-linux-amd64.tgz -C "$OLLAMA_INSTALL_DIR"
让模型一直处于加载状态
curl http://localhost:11434/api/generate -d '{"model": "codellama:70b-instruct-fp16", "keep_alive": -1}'
重启ollam
sudo systemctl restart ollama
指定GPU
还不知道咋搞
issue里给到了方法,但是太长懒得看 How to run Ollama only on a dedicated GPU
这种方法是无效的:CUDA_VISIBLE_DEVICES=0 ollama run <model>
查看日志
sudo journalctl -u ollama
创建模型
ollama create -q Q4_K_M name-deepseek-coder:6.7b-q4