华为云联合中国信通院发布《面向LLM应用的可观测性能力要求》,助力AI+应用高质量发展

104 阅读2分钟

基于前期的多项研究工作,与各行业专家通过多轮讨论,制定出了一套面向LLM应用的可观测性能力的分级要求,为行业提供参考。标准面向LLM应用在训练推理过程中的可观测建设工作,以数据的采集、模型、存储、应用为主线,对各环节所需能力进行标准化规范。

面向对象:适用于LLM应用可观测方案、云厂商可观测平台、可观测独立厂商产品、可观测建设方案等。

标准范围:标准从数据的全生命周期规范了面向LLM应用的可观测性技术要求,详细规范了数据模型构建的参考框架,前瞻性提出核心应用场景的能力建设指引。860cge.mhsp715.MobI9|ylj064.mhsp715.MobI9|664ogg.mhsp715.MobI9|zpb731.mhsp715.MobI9|751mgn.mhsp715.MobI9|875thf.mhsp715.MobI9|444ydf.mhsp715.MobI9|vgs317.mhsp715.MobI9|bmh956.mhsp715.MobI9|008rpc.mhsp715.MobI9|elm718.mhsp715.MobI9|mcu485.mhsp715.MobI9|biu495.mhsp715.MobI9|

内容简介:标准内容涵盖数据采集、数据模型、数据存储、数据应用四大部分,29个能力项,200+条能力指标。

作为参与该标准的核心厂商之一,华为云基于多年内部实践经验,打造了华为云智能可观测平台AOM。华为云智能可观测平台AOM利用AI赋能应用智能可观测,推动数字化转型和智能化升级,面向用户提供更高效、精准的监控和分析解决方案。

华为云可观测平台AOM主要能力

•   全场景数据接入,统一监控大盘与告警管理

统一接入中心实现4层指标体系数据上报,提供可视化图表统一汇总呈现指标、日志、调用链信息,统一告警规则配置、开箱即用告警模板以及智能告警降噪。

•   智能根因分析引擎

提供基于应用性能管理的应用监控与根因定位服务,从周期性、稳定性和自相关性等多维度对数据进行特征提取,自动检测指标异常,基于应用服务和流量Top N接口的平均RT、错误率等关键指标看护业务质量,全局分析问题。相比传统根因分析手段,AOM智能根因分析引擎将分析时长小时级缩短至分钟级。

•   智能化代码级剖析Profiling

支持调用链路时序图,直观展示Web端、App端到后端服务、数据库、中间件链路关系,用户一站式定位故障链路,快速发现消耗资源的代码,定位CPU、内存、时延性能问题。可实现7大类常见性能瓶颈的定位,节约开发人员性能问题定位工作量30%,竞争力达到业界领先。