GPUStack × CherryStudio:为企业用户构建安全可靠的本地私有化 AI 助手(下)

0 阅读2分钟

GPUStack 赋能:CherryStudio 的多模型能力

接入 GPUStack 后,可在 CherryStudio 中自由切换多类模型,覆盖更多应用场景:

模型类别示例模型主要功能
大语言模型 (LLM)Qwen, Llama3, DeepSeek对话、写作、编程助手
视觉语言模型 (VLM)LLaVA, Pixtral, Qwen-VL图文理解、图像识别
向量嵌入BGE向量检索、语义搜索

结合 CherryStudio 的多模态界面、知识库与插件体系,可构建功能完整的 AI 助手中心。

视觉语言模型(VLM)

​编辑

上述示例中,答案不正确,主要由于模型尺寸(7B)与量化精度(4bit)受限。更换更大模型后,结果正确:

​编辑

向量嵌入(Embedding)

向量嵌入是现代检索与问答系统的重要组成部分,通过将文本或文档映射为高维向量,实现语义级相似度匹配,从而提升搜索与问答质量。

向量嵌入:将文本/知识内容映射为向量,支持高效相似度计算

以下示例展示如何结合知识库实现语义检索与问答:

1. 准备知识库内容(示例为手动创建)

​编辑

​编辑

​编辑

​编辑

2. 不使用知识库进行问答

​编辑

3. 使用知识库进行问答

​编辑

​编辑

注意:某些模型的函数调用输出格式与 CherryStudio 预期不一致,可能导致未能按预期调用知识库。此类差异在当前生态中较常见。

更换其他模型后再次尝试:

​编辑

​编辑

如果模型判断问题简单而不触发查库,可通过系统提示词明确约束:回答必须依据知识库内容。调整后,结果如预期:

​编辑

​编辑

私有化部署的价值

数据可控:请求与推理均在本地或内网完成,保护核心信息安全

算力可扩展:支持多机部署与灵活调度 GPU 资源

模型可替换:可引入最新 Hugging Face / ModelScope 模型,便于持续升级

多模态支持:图像理解与分析能力提升决策支持

OpenAI 生态兼容:无缝接入丰富工具与服务

适用于企业内部应用的私有化落地,安全、高效且灵活。