阿里云 Milvus 场景中心|一键部署你的AI应用

0 阅读6分钟

业务背景与交付挑战

小明刚给一家客户做完图片搜索,老板就找了过来。「我手上还有几家客户,也想做图片搜索。你刚做好的这套,能不能也给他们用?」

几家客户都想把图片搜索接进自己的业务系统,上线后每天用。可每接一家,小明都得重新接数据、配网络、调接口。服务跑起来以后,也得有人盯。图片传上去了却搜不到,要查任务、看日志。赶上业务高峰,处理不过来,还得有人加节点。

做一家时,这些事小明还能顾得过来。几家一起上,交付要一遍遍做,服务也得一个个盯。小明得想个办法,让做好的图片搜索能更快交给下一家,上线后也能管得过来。

image

场景模板部署与业务接入

Milvus 场景中心正是为此类需求而生。把围绕Milvus 的通用客户需求做成可部署的场景模板。需要交付给新客户时,可以沿用已经验证过的流程,单独部署实例。从 Milvus 控制台左侧进入「场景中心」,在「场景广场」选模板,在「场景管理」找已部署的实例。

场景模板部署。 在「场景中心」打开「场景广场」,选中模板后点「查看详情」,按页面指引部署独立实例。每个项目可以单独配置网络、关联的 Milvus 实例和运行资源。

image.png

等到部署完成后,可以在「场景管理」打开部署完成的场景实例。

image.png

点详情页右上角的「管控页面」。可以进入场景的管控页面,让客户方便直观的看到功能效果。

image.png

如下图是场景中心中,智能相册相关的页面。

image

image

场景实例采用api方式方便业务对接,在实例详情页右上角点「接口参考」,再选「OpenAPI」。开发团队可以查看接口文档和请求示例,先用客户样本核对返回,再接进原来的业务系统。

image.png

如下图是其中一个接口的输入输出,直接对接到已有业务中即可使用。

image

小明用了这一套方案,帮客户快速进行能力演示和功能验证,验证通过后,接上正式网络和业务系统。下一家有类似需求,也能从这套流程开始。

image

生产监控与资源管理

一次集中交片,任务显示「已受理」,运营却搜不到刚传上的照片。小明按任务 ID 和提交时间查进度,发现分析队列在积压。要解决这个问题,得先看任务卡在哪一步,再决定该加什么资源。

Milvus 场景中心把监控、日志和节点管理放在实例详情里。从控制台的「场景中心」进入「场景管理」,打开要排查的实例。可以对照业务和资源的变化,也可以在同一处调整节点和数据盘。

业务监控。 在实例详情点「监控」,切到「业务」。这里能看请求量、响应时间、QPS、失败率和正在处理的请求数。结果出得慢时,先看看搜索有没有变慢,失败率有没有上升。

image

资源监控。 在「监控」里切到「资源」,查看 CPU、内存和磁盘利用率。和业务监控选同一个时间段,就能对照请求高峰和资源用量。下一次批量导入前,也可以看看磁盘还剩多少空间,再决定要不要扩盘。

image

GPU 监控。 在「监控」里切到「GPU」,查看计算利用率和显存用量。把曲线和任务进度放在一起看,可以判断分析节点的处理能力是否跟得上。

image

日志排查。 个别任务报错时,可以从实例详情打开「日志」,结合任务结果、任务 ID 和提交时间查到具体素材。

节点扩缩容与数据盘。 在实例详情打开「节点管理」,可以查看节点组的规格、数量和配置,也可以手动扩容或缩容。支持弹性伸缩的节点组可以设好副本数上下限,忙时加副本,负载回落后再缩。数据盘可以按节点组支持的盘型和容量配置,给模型文件、缓存和处理结果留空间。

image

GPU 尽力交付。 支持GPU的场景服务都有这个能力,配置了支持尽力交付的 GPU 节点组时,可以提前选好兼容规格。扩容碰到 GPU 缺货,系统会尝试已配置的其他规格,并保留已就绪的副本。团队可以按实际交付的副本数安排任务,也能看出离目标容量还差多少。

有了完善的监控以及数据盘挂载、弹性扩缩容、GPU尽力交付,小明帮助客户稳定的生产使用,保证业务稳定。

image

场景目录与上线状态

选场景时,可以先看要解决什么问题。按人物、场景或一句描述找照片和视频,用图片与视频智能相册。用参考图或文字去商品库找相似款,用电商图搜图。业务系统需要向量化或重排序接口,可以部署本地模型服务。下表也列出了待上线的六种场景。

选型与部署入口。 进入 Milvus 控制台的「场景中心」,在「场景广场」按行业或能力筛选。点击「查看详情」,可以看模板用途、推荐规格和部署前置条件。选好模板后按页面指引部署,后续到「场景管理」查看实例。

场景广场的已上线场景和待上线场景。

image

场景状态可以拿它做什么
图片与视频智能相册已上线导入照片和视频,按人物、场景或文字描述找回原图和片段,也可以在页面上检查照片分析结果。
电商图搜图已上线用商品截图或一段款式描述在已有商品库里找相似款,再按条件筛选,供选品和采购比对。
本地模型服务已上线托管 Embedding 和 Rerank 模型,通过接口为业务系统提供向量化和重排序。
直播高光切片待上线录制并转写直播,从长时间录制内容里定位值得保留的部分,输出短片供运营复核。
多模态数据脱敏待上线给图片、视频、音频、文本或 PDF 应用脱敏规则,处理后复核需要遮挡或删除的内容。
图片理解待上线上传图片提问,获取画面描述或提取图中文字,例如从设备铭牌读取型号。
视频白模化待上线从人物动作视频生成白模和对比视频,方便逐段检查还原的动作。
图片生成 3D待上线从单张参考图生成可交互预览的 3D 几何模型,支持导出 GLB。
人物头发建模待上线从角色参考图生成彩色 3D 发型资产,供角色设计预览、下载和后续制作。

总结

在「场景广场」选模板,用客户自己的素材验证,再把同一套流程部署上线。业务人员用网页,开发团队通过 OpenAPI 接进现有系统。上线后从「场景管理」打开实例,查任务、看监控,按业务量调整资源。有了Milvus场景中心,一切都变得简单。