字节跳动服务治理实践 | 青训营笔记

234 阅读2分钟

💌 这是我参与「第五届青训营」伴学笔记创作活动的第 11 天。

🧡 本堂课重点内容

  • 重试意义
  • 重试难点
  • 重试策略
  • 重试效果验证

🧡 知识点介绍

请求重试的意义

  • 本地函数调用:可能出现参数非法、OOM、NPE、边界case、系统崩溃、死循环、程序异常退出等异常,通常没有重试意义。
  • 远程函数调用:网络抖动、下游负载高、下游机器宕机、本地机器负载高调度超时、下游熔断限流等。重试是有意义的,可以避免偶发性的错误,提高 SLA。
  • 重试的意义
    降低错误率:假设单次请求的错误概率为0.01,那么连续两次错误概率则为0.0001。
    降低长尾延时:对于偶尔耗时较长的请求,重试请求有机会提前返回。
    容忍暂时性错误:某些时候系统会有暂时性异常(例如网络抖动),重试可以尽量规避。
    避开下游故障实例:一个服务中可能会有少量实例故障(例如机器故障),重试其他实例可以成功。

请求重试的难点

  • 幂等性:POST 请求可以重试。
  • 重试风暴:随着调用链路的增加,重试次数呈指数级上升。设定一个重试比例阈值(例如1%),重试次数占所有请求比例不超过该阈值。
  • 超时设置:超时就重试。

重试策略

  • 限制重试比例:设定一个重试比例阈值(例如 1%),重试次数占所有请求比例不超过该阈值
  • 防止链路重试:链路层面的防重试风暴的核心是限制每层都发生重试,理想情况下只有最下一层发生重试。可以返回特殊的status表明“请求失败,但别重试”。
  • Hedged Requests:对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应。

重试效果验证

字节跳动重试组件能够极大限制重试发生的链路放大效应。 image.png

🧡 课程总结

💌 今天学习了重试的意义和重难点以及对重试风暴的策略。