程序摄像头Trace Profiling:生产环境10分钟黄金时间快速排障手册

118 阅读2分钟

1. 当前可观测性技术采用之后,运维&开发普遍面临的问题

  • 指标太多:不知什么时候看何种指标
  • 依赖经验和百度:根据经验采用排除法去排查各种可能的异常指标。控制台、日志、trace追踪、数据库管理平台……各种工具来回切换,需要运维和开发协作,将数据和信息有效组织起来,解决问题时间周期不可控
  • 依赖复现、日志埋点:生产环境是黑盒子,我们往往靠推理,根据现象反推系统行为,但是对于很多非必现问题无从下手
  • 排障门槛:专业apm等工具存在一定的学习门槛,排查方向的准确性和经验能力成正比,而生产故障需要快速响应

2. 程序摄像头Trace Profiling:以标准化流程,分钟级定位全资源种类故障的根因

2.1 程序摄像头Trace Profiling的标准化步骤排障

  • 找:通过Trace系统,结合时间点,找出相关可能存在问题的关键Trace
  • 查:通过关键Trace,查询其对应的Span信息
  • 分析:分析Span信息中的何种指标与预期不符

2.2 程序摄像头Trace Profiling的排障效率:1-5-10分钟级定位

业内的排障目标是1分钟发现,5分钟响应,10分钟解决问题,而通过使用程序摄像头,按标准化步骤,我们期望辅助开发和运维能在10分钟黄金时间内解决问题。

2.3 程序摄像头Trace Profiling的排障目标:定位全资源种类故障根因

程序摄像头Trace Profiling能够覆盖CPU、内存、网络、存储等当前常见的资源维度,未来也许我们也可以去支持GPU的资源维度。所谓全资源维度指故障根因定位,即找出线上到底哪些资源不足而导致的故障根因。

我们整理了以下5种生产环境常见案例以及相应的demo试用环境,让大家体验如何通过程序摄像头Trace Profiling在10分钟黄金期内快速排障,大家可前往我们的官网查看体验:

​案例及demo演示环境​

  • CPU耗时异常:CPU不定时飙高怎么排查?
  • 应用与网络问题如何快速定位?
  • 如何高效排查生产环境文件IO问题?
  • 如何快速排查生产环境多线程问题?
  • 业务问题案例:通过报文判断生产环境Spring事务是否生效

2.4 关于程序摄像头 Trace Profiling

​Kindling官网地址​

​GitHub​