GPUStack

配置 NVIDIA Container Runtime 容器运行时环境，并使用容器方式运行 GPUStack 的操作教程

安装 GPUStack 和 Dify，并使用 Dify 来对接 GPUStack 部署的对话模型、Embedding 模型和 Reranker 模型。

使用 llama.cpp 制作并量化 GGUF 模型，并将模型上传到 HuggingFace 和 ModelScope 模型仓库

使用 GPUStack 在昇腾 Ascend 910B 上运行 Qwen2.5 全系列的推理性能表现

GPUStack 0.2 版本新增了单机多卡分布式推理、跨主机分布式推理、纯 CPU 推理、Binpack 和 Spread 放置策略以及指定 Worker 调度、手动指定 GPU 调度等核心特性。