微擎面板(w7panel)如何实现GPU虚拟化和一键部署AI大模型

204 阅读2分钟

微擎面板(w7panel) 是一款基于 Kubernetes 的云原生控制面板,凝聚了微擎团队超十年的运维经验,且为云原生民用化付出诸多努力。历经多年研发打磨,它成为了一款开箱即用、能落地民用的云原生服务器面板管理系统。性能稳定,安装部署快速,支持 docker、helm、微擎应用商店等丰富应用生态,适配各类开发语言与运行环境,还可一键部署各类 web 系统。下面我将一步步向大家演示,怎么快速使用微擎面板实现GPU虚拟化和一键部署AI大模型:

前提:

  1. 已经安装了微擎面板,未安装可阅读下面的安装教程: mp.weixin.qq.com/s/Xlh-Y2Dba…
  2. 服务器配置最少有1块物理显卡,内存不少于32G,否则无法正常安装GPU驱动和调试大模型。

一、GPU虚拟化篇(以NVIDIA GPU为例)

1,进入节点管理,找到GPU管理入口

图片

2,选择显卡类型后,点击启用,此时会弹出驱动安装界面

图片

3,安装完成后,在应用管理的应用列表页会出现两个应用,全为绿色状态即为安装成功

图片

4,此时在GPU管理页面,打开启用GPU

图片

启用后,可在概览页面看到关于GPU的监控统计数据,在应用管理页面会看到GPU相关的配置设置,默认情况下一块物理GPU会被虚拟化为10块vGPU,可以支持十个应用实例同时占用一块GPU处理任务,每个任务可分配不同显存大小,总显存不超过物理GPU的显存即可。

图片

图片

二、一键部署大模型篇

1,左侧菜单在应用管理下找到AI应用管理入口,首次使用需要先GPUstack应用图片

2,安装完成后,进入子菜单节点管理,可创建运行大模型所需的worker节点,为每个worker分配GPU使用量图片图片

3,创建完成后,在模型库选择模型,一键下载、一键部署。模型库资源丰富,常用的模型和量化版本基本都可以找到。

图片

图片

4,部署完成后,可在试验场页面测试各种大模型的效果

图片

5,测试完成后,可点击查看代码,获取相关api并用于项目中调用

图片

图片

安装问题,进群咨询