这是我参与「第五届青训营 」伴学笔记创作活动的第 13 天
重试的意义
本地函数调用可能产生的异常:
- 参数非法
- OOM(Out Of Memory)
- NPE(Null Pointer Exception)
- 边界 case
- 系统崩溃
- 死循环
- 程序异常退出
本地函数调用没有重试的必要
远程函数调用可能产生的异常:
- 网络抖动
- 下游负载高导致超时
- 下游机器宕机
- 本地机器负载高,调度超时
- 下游熔断、限流
重试可以避免掉偶发的错误,提高SLA(Service-Level Agreement),假设一次远程调用失败的概率是1%,那么重试两次失败的概率是万分之一。
- 降低错误率:假设单词请求的概率为0.01,那么连续两次错误概率则为0.0001
- 降低长尾延时:对于偶尔耗时较长的请求,重试请求有机会提前返回
- 容忍暂时性的错误:某些时候系统会有暂时性异常(例如网络抖动),重试可以尽量规避
- 避开下游故障实例:一个服务中可能会有少量实例故障(例如机器故障),重试其他实例可以成功
重试的难点
- 幂等性
- 重试风暴:链路上的调用重试次数会不断地放大
- 超时设置
重试策略
限制重试比例
设置一个重试比例阈值(例如1%),重试次数占所有请求比例不超过该阈值。
防止链路重试
链路层面的防重试风暴的核心是限制每层都发生重试,理想情况下只有最下一层发生重试。
可以返回特殊的status表明 “请求失败,但别重试”
Hedged requests
对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应。
重试效果验证
实际验证经过上述重试策略后,在链路上发生的重试放大效应
总结
- 重试的意义及难点
- 应对重试风暴的策略