微服务治理实践 | 青训营笔记

27 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 13 天

重试的意义

本地函数调用可能产生的异常:

  • 参数非法
  • OOM(Out Of Memory)
  • NPE(Null Pointer Exception)
  • 边界 case
  • 系统崩溃
  • 死循环
  • 程序异常退出

本地函数调用没有重试的必要

远程函数调用可能产生的异常:

  • 网络抖动
  • 下游负载高导致超时
  • 下游机器宕机
  • 本地机器负载高,调度超时
  • 下游熔断、限流

重试可以避免掉偶发的错误,提高SLA(Service-Level Agreement),假设一次远程调用失败的概率是1%,那么重试两次失败的概率是万分之一。

  • 降低错误率:假设单词请求的概率为0.01,那么连续两次错误概率则为0.0001
  • 降低长尾延时:对于偶尔耗时较长的请求,重试请求有机会提前返回
  • 容忍暂时性的错误:某些时候系统会有暂时性异常(例如网络抖动),重试可以尽量规避
  • 避开下游故障实例:一个服务中可能会有少量实例故障(例如机器故障),重试其他实例可以成功

重试的难点

  • 幂等性
  • 重试风暴:链路上的调用重试次数会不断地放大
  • 超时设置

重试策略

限制重试比例

设置一个重试比例阈值(例如1%),重试次数占所有请求比例不超过该阈值。

2.jpg

防止链路重试

链路层面的防重试风暴的核心是限制每层都发生重试,理想情况下只有最下一层发生重试。

可以返回特殊的status表明 “请求失败,但别重试”

Hedged requests

对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应。

重试效果验证

实际验证经过上述重试策略后,在链路上发生的重试放大效应

3.jpg

总结

  • 重试的意义及难点
  • 应对重试风暴的策略