ollama使用手册(不断更新)

19 阅读1分钟

鉴于ollama的文档非常混乱,把我常用的需要备注的点记录在这里

FQA

Install

linux安装脚本当前会尝试下载两种安装包,真实下载地址其实是github,国内的原因,很难完成下载,旧版可以通过github镜像下载,新版的下载地址没法镜像,所以需要本地先下载好,然后修改安装脚本跳过下载阶段: $SUDO tar -xzf ollama-linux-amd64.tgz -C "$OLLAMA_INSTALL_DIR"

让模型一直处于加载状态

curl http://localhost:11434/api/generate -d '{"model": "codellama:70b-instruct-fp16", "keep_alive": -1}'

重启ollam

sudo systemctl restart ollama

指定GPU

还不知道咋搞

issue里给到了方法,但是太长懒得看 How to run Ollama only on a dedicated GPU

这种方法是无效的:CUDA_VISIBLE_DEVICES=0 ollama run <model>

查看日志

sudo journalctl -u ollama

创建模型

ollama create -q Q4_K_M name-deepseek-coder:6.7b-q4

未解决的问题

为什么codellama70b跑一会,就卡住了