步骤二:部署模型
1. 打开 GPUStack 网页端「模型库」页面
编辑
2. 选择要运行的模型(如 Qwen3)
编辑
3. 点击「保存」,转到「部署」页面,等待状态变为 Running
编辑
模型可用后,可在 GPUStack 的「Playground - Chat」直接测试:
编辑
亦可按需部署更多模型(如下仅为演示):
编辑
编辑
更多部署细节见 GPUStack 项目与文档:
官方文档:docs.gpustack.ai/
显存不足或需添加多节点,请参考下图:
编辑
步骤三:连接 CherryStudio
如尚未安装 CherryStudio,请先访问官网安装:www.cherry-ai.com/
1. 打开 CherryStudio,进入「设置」→「模型服务」,搜索 “GPUStack”
编辑
2. 选择「GPUStack」,并启用(未启用将无法使用)
编辑
3. 配置参数:
编辑
Base URL:http://your_server_ip/v1-openai/(注意:末尾斜杠必需)
API Key:在 GPUStack 的「API Keys」页面新建并复制
编辑
4. 管理模型
编辑
5. 测试连接
编辑
配置正确后,会显示“连接成功”。
6. (可选)设置默认模型
编辑
至此,CherryStudio 即可调用 GPUStack 上部署的模型,获得与 OpenAI 一致的使用体验,同时实现对数据与算力的完全掌控。
编辑