本文由火山云代理商【聚搜云】撰写
1. 网络与接口性能
- 网络性能：评估网络延迟和可用性，特别是在多城市、多运营商环境下的表现。
- 接口响应时间：衡量API接口的响应速度，确保开发者获得高效的开发体验。
2. 推理与内容生成
- 推理速度：模型推理阶段的平均速度（单位：tokens/s），反映模型处理复杂任务的能力。
- 内容生成速度：模型生成阶段的平均速度（单位：tokens/s），适用于需要快速响应的应用场景。
- 首Token时间：从请求发起至模型返回第一个有效Token的时间间隔（单位：s），用于评估模型的初始响应速度。
3. 存储与计算
- CPU利用率：反映ECS实例的计算性能。
- 内存利用率：评估内存资源的使用情况。
- 网络带宽：衡量网络传输能力。
- 磁盘IOPS：评估存储设备的读写性能。
4. A/B测试
- 事件指标：通过埋点上报的事件和算子计算出的值，支持多种计算方式（如总次数、总人数、求和/求均值/去重数等）。
- 留存指标：计算第二个事件相对第一个事件的按天留存率，适用于复购率和功能访问留存率的分析。
- 漏斗指标：按顺序排列的事件发生转化率，帮助优化基于流程场景的用户体验。
5. 视频直播
- 延时：直播画面的端到端延迟，最低可降至1秒左右。
- 卡顿：直播过程中卡顿的频率和时长。
- 音频质量：音频传输的清晰度和稳定性。
- 视频质量：视频传输的清晰度和流畅度。
- 拉流成功率：直播流成功拉取的比率。
6. 通用性能指标
- 平均速度：模型推理和生成的整体平均速度（单位：tokens/s）。
- 可用性：时间范围内目标服务能够被正常访问的比率。
