GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。
GPUStack 支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论目标 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上， GPUStack 都能统一纳管并形成统一算力集群。GPUStack 管理员可以从诸如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM。进而，开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样，非常简便地调用 OpenAI 兼容的 API 访问部署就绪的私有 LLM。
使用 GPUStack
安装并创建 GPU 集群
Linux 或 MacOS 系统
要在 Linux 或 MacOS 系统上安装，GPUStack 提供了一个安装脚本，可以将其作为系统服务安装在 systemd 或 launchd 的系统上。
要使用这种方法安装 GPUStack，执行以下命令：curl -sfL get.gpustack.ai | sh -
现在你已经成功部署并启动了 GPUStack，且将当前节点作为第一个 Worker 节点。
你可以通过 http://myserver （替换为你所安装的主机 IP 或域名）在浏览器访问 GPUStack，以 admin 用户名和默认密码登录。
默认密码可以在 GPUStack Server 节点上通过以下命令获得：cat /var/lib/gpustack/initial_admin_password
（可选）要添加更多的 Worker 节点组建成 GPU 集群，请在其他要加入集群的 Worker 节点上执行以下命令：curl -sfL get.gpustack.ai | sh - --server-url http://myserver --token mytoken
将其中的 http://myserver 替换为你的 GPUStack 访问地址，并将 mytoken 替换为你用于添加 Worker 的认证 token。
你可以在 Server 节点执行以下命令获取 token：cat /var/lib/gpustack/token
也可以直接按照 GPUStack 上的指引添加 Worker：
编辑
Windows 系统
要在 Windows 系统上安装，以管理员权限运行 PowerShell，执行如下命令安装 GPUStack：Invoke-Expression (Invoke-WebRequest -Uri "get.gpustack.ai" -UseBasicParsing).Content
完成后，通过 http://myserver （替换为你所安装的主机 IP 或域名）在浏览器访问 GPUStack，以 admin 用户名和默认密码登录。
默认密码可以在 Server 节点上通过以下命令获得：
（可选）你也可以在其他 Windows 节点上运行以下命令，添加额外的 Worker 以组建 GPU 集群（注意替换 http://myserver 和 mytoken）：Get-Content -Path (Join-Path -Path $env:APPDATA -ChildPath "gpustack\initial_admin_password") -Raw
默认情况下，你可以在 Server 节点上运行以下命令来获取用于添加 Worker 的 token：Invoke-Expression "& { $((Invoke-WebRequest -Uri "get.gpustack.ai" -UseBasicParsing).Content) } -ServerURL http://myserver -Token mytoken"
Get-Content -Path (Join-Path -Path $env:APPDATA -ChildPath "gpustack\token") -Raw
GPUStack 支持混合集群（即将 Linux，MacOS 和 Windows 节点组建成混合的 GPU 集群），安装命令同理。
