记录一次k8s的ES故障排查

前言

• 背景环境 k8s部署的ES突然报错，kibana可以打开，但是查看日志的时候报错

Cannot retrieve search results
[parent] Data too large, data for [indices:data/write/bulk[s]] would be [514294816/490.4mb], which is larger than the limit of [510027366/486.3mb], real usage: [514293728/490.4mb], new bytes reserved: [1088/1kb], usages [request=0/0b, fielddata=0/0b, in_flight_requests=1088/1kb, model_inference=0/0b, eql_sequence=0/0b, accounting=15547528/14.8mb]

处理过程

• 获取集群各个节点的信息

    curl http://ES账号:ES密码@10.244.12.95:9200/_nodes/stats/breaker

• json 比较长需要自己转义一下再查看，我截取了报错中的parent配置信息，看情况应该是内存配置不足，需要调大内存

解决方案

• 修改分配的内存堆大小，重新apply，问题解决。