GPUStack × CherryStudio:为企业用户构建安全可靠的本地私有化 AI 助手(上)

23 阅读2分钟

随着大模型的普及,越来越多的企业希望借助 AI 提升工作效率——从智能对话、文档分析到知识问答与研发辅助,AI 正在重塑企业的工作方式。但在实际落地中,数据安全与隐私合规始终是绕不过的问题。为确保企业核心数据不外流、私有化模型稳定可控,本地私有化部署逐渐成为企业首选方案,而 CherryStudio 与 GPUStack 的结合,正是这一需求的理想实现。

CherryStudio 作为交互界面,为企业员工提供便捷的操作入口和知识管理能力,让用户能够轻松调用内部模型、查询知识库,以及生成文档和辅助决策,提升业务流程的智能化水平与工作效率。

而 GPUStack 是整套系统的算力与模型管理中枢。它为企业提供统一的模型部署、调度与监控能力,支持多模型的单机/多机运行与自动资源分配,确保推理过程高效稳定。同时,GPUStack 还具备认证授权、负载均衡、故障恢复与指标观测功能,让企业在本地掌控模型生命周期,实现对 AI 服务的统一管理与合规运行。

实战:三步完成 CherryStudio 连接 GPUStack

步骤一:启动 GPUStack 服务

首先,参考 GPUStack 官方文档完成安装(docs.gpustack.ai/latest/inst… )。推荐容器化部署方式,在 NVIDIA GPU 服务器上,根据文档要求完成对应版本的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit 安装后,通过 Docker 启动 GPUStack 服务

docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
--network=host \
--ipc=host \
-v gpustack-data:/var/lib/gpustack \
registry.cn-shanghai.aliyuncs.com/gpu-stack/gpustack:v0.7.1

启动完成后,在浏览器访问 http://your_server_ip

​编辑

若 your_server_ip 为 localhost 或 127.0.0.1,可直接进入管理界面。

管理员账号为 admin,默认密码使用以下命令查看:docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password

更多设备与安装方式参考官方文档:docs.gpustack.ai/latest/over…