GPUStack × CherryStudio:为企业用户构建安全可靠的本地私有化 AI 助手(中)

0 阅读1分钟

 步骤二:部署模型

1. 打开 GPUStack 网页端「模型库」页面

​编辑

2. 选择要运行的模型(如 Qwen3)

​编辑

3. 点击「保存」,转到「部署」页面,等待状态变为 Running

​编辑

模型可用后,可在 GPUStack 的「Playground - Chat」直接测试:

​编辑

亦可按需部署更多模型(如下仅为演示):

​编辑

​编辑

更多部署细节见 GPUStack 项目与文档:

项目地址:github.com/gpustack/gp…

官方文档:docs.gpustack.ai/

显存不足或需添加多节点,请参考下图:

​编辑

步骤三:连接 CherryStudio

如尚未安装 CherryStudio,请先访问官网安装:www.cherry-ai.com/

1. 打开 CherryStudio,进入「设置」→「模型服务」,搜索 “GPUStack”

​编辑

2. 选择「GPUStack」,并启用(未启用将无法使用)

​编辑

3. 配置参数:

​编辑

Base URL:http://your_server_ip/v1-openai/(注意:末尾斜杠必需)

API Key:在 GPUStack 的「API Keys」页面新建并复制

​编辑

4. 管理模型

​编辑

5. 测试连接

​编辑

  配置正确后,会显示“连接成功”。

6. (可选)设置默认模型

​编辑

至此,CherryStudio 即可调用 GPUStack 上部署的模型,获得与 OpenAI 一致的使用体验,同时实现对数据与算力的完全掌控。

​编辑