问题起因
原本一个正常在10s左右执行的计算sql突然变得很慢了,每次执行花费2h10m
排查思路1
检查sql是否变化、查看数据量是否突增、查看sr集群内存、cpu等使用率、集群节点是否正 常
思路1结果
所有的信息都没有问题
排查思路2
开启profile,拿到profile文件进行分析 1、分析pipeline_dop并发数 查询:SHOW VARIABLES LIKE '%pipeline_profile_level%'; 设置:set global pipeline_dop=1; set pipeline_dop=1; 再次执行sql,耗时依然很长 2、继续分析profile文件,全文搜索pipeline_id关键字 profile分析文件中没有查询到pipelineId之类的关键字 怀疑是enable_pipeline_engine关闭了 查询:show VARIABLES LIKE '%enable_pipeline_engine%'; 确认是关闭状态了 设置开启: set enable_pipeline_engine=true; set global enable_pipeline_engine=true; 再次执行sql,耗时明显改善,计算耗时提升到了10s左右
结果
问题解决