宇宙有只AGI

1. 实用命令 1.1 系统相关 1.1.1 查看系统、用户信息等 查看当前系统硬件架构 注：mac 上也能用 查看当前系统的操作系统及版本 查看当前系统单个cpu的可用核心数 查看当前系统所有用户

1. 详细步骤 1.1 安装 Tmux apt brew 1.2 终端新建/激活 Tmux 1.2.1 新开一个窗口 1.2.2 激活指定窗口 1.3 Tmux 内使用 1.3.1 当前窗口下再开一个

1. 详细步骤 1.1 安装 1.2 启动 1.2.1 直接启动 简洁命令 多参数命令 设置模型缓存路径和模型来源（Hugging Face/Modelscope） 1.2.2 集群部署

1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖（非CUDA环境运行可跳过） 1.2 安装 llama.cpp (C/C++环境) 1.3 安装 llama-cpp (Python 环境

1. 详细步骤 1.1 拉取源码 1.2 模型转换/量化 1.2.1 安装所需 Python 依赖 torch 其他依赖 1.2.1 模型转换/量化 f16 q8_0 q4_0 1.3 模型测试

Open WebUI (Formerly Ollama WebUI) 也可以通过 docker 来安装使用 1. 详细步骤 1.1 安装 Open WebUI 1.2 启动 ollama 服务 1.3

1. 详细步骤 以qwen2.5:0.5b-instruct-fp16为例 1.1 迁移 manifests 文件 1.2 迁移 blobs 文件 1.3 验证

1. 操作步骤 1.1 安装 1.2 验证（可跳过） 1.3 启动服务端 1.4 跑通第一个模型 2. 参考资料 2.1 Ollama GitHub https://github.com/ollama

本文记录了在Ubuntu系统上通过runfile(local)方式安装CUDA Toolkit的经验