首先安装nix
然后通过nix安装llama.cpp
nix --extra-experimental-features nix-command --extra-experimental-features flakes profile install nixpkgs#llama-cpp
之后也需要在fish-shell环境内使用llama-cli等命令
下载模型
uv pip install huggingface_hub
uvx hf download unsloth/Qwen3.5-0.8B-GGUF Qwen3.5-0.8B-Q4_K_M.gguf --local-dir ./llm/models
运行模型
llama-cli -m ./llm/models/Qwen3.5-0.8B-Q4_K_M.gguf
现在可以开始和模型在命令行对话了
不安装直接使用
上述步骤不是必须的, 可以直接下载github仓库里的压缩包, 解压后使用有关可执行文件。
wget https://github.com/ggml-org/llama.cpp/releases/download/b8672/llama-b8672-bin-ubuntu-x64.tar.gz
tar -xvf llama-b8672-bin-ubuntu-x64.tar.gz
cd llama-b8672
./llama-cli -m ../llm/models/Qwen3.5-0.8B-Q4_K_M.gguf
