1. 当前可观测性技术采用之后,运维&开发普遍面临的问题
- 指标太多:不知什么时候看何种指标
- 依赖经验和百度:根据经验采用排除法去排查各种可能的异常指标。控制台、日志、trace追踪、数据库管理平台……各种工具来回切换,需要运维和开发协作,将数据和信息有效组织起来,解决问题时间周期不可控
- 依赖复现、日志埋点:生产环境是黑盒子,我们往往靠推理,根据现象反推系统行为,但是对于很多非必现问题无从下手
- 排障门槛:专业apm等工具存在一定的学习门槛,排查方向的准确性和经验能力成正比,而生产故障需要快速响应
2. 程序摄像头Trace Profiling:以标准化流程,分钟级定位全资源种类故障的根因
2.1 程序摄像头Trace Profiling的标准化步骤排障
- 找:通过Trace系统,结合时间点,找出相关可能存在问题的关键Trace
- 查:通过关键Trace,查询其对应的Span信息
- 分析:分析Span信息中的何种指标与预期不符
2.2 程序摄像头Trace Profiling的排障效率:1-5-10分钟级定位
业内的排障目标是1分钟发现,5分钟响应,10分钟解决问题,而通过使用程序摄像头,按标准化步骤,我们期望辅助开发和运维能在10分钟黄金时间内解决问题。
2.3 程序摄像头Trace Profiling的排障目标:定位全资源种类故障根因
程序摄像头Trace Profiling能够覆盖CPU、内存、网络、存储等当前常见的资源维度,未来也许我们也可以去支持GPU的资源维度。所谓全资源维度指故障根因定位,即找出线上到底哪些资源不足而导致的故障根因。
我们整理了以下5种生产环境常见案例以及相应的demo试用环境,让大家体验如何通过程序摄像头Trace Profiling在10分钟黄金期内快速排障,大家可前往我们的官网查看体验:
- CPU耗时异常:CPU不定时飙高怎么排查?
- 应用与网络问题如何快速定位?
- 如何高效排查生产环境文件IO问题?
- 如何快速排查生产环境多线程问题?
- 业务问题案例:通过报文判断生产环境Spring事务是否生效
2.4 关于程序摄像头 Trace Profiling
GitHub