这是我参与「第五届青训营」伴学笔记创作活动的第 14天。
课堂笔记
一、本堂课重点内容:
- 核心服务治理功能
- 字节跳动服务治理实践
二、具体案例:
1. 核心服务治理功能
1.1 服务发布
发布难点
蓝绿部署
灰度发布(金丝雀发布)
1.2 流量治理
在微服务架构下,我们可以基于地区、集群、实例、请求等维度,对端到端流量的路由路径进行精确控制。
1.3 负载均衡
负载均衡(Load Balance)负责分配请求在每个下游实例上的分布。
常见的LB策略
- Round Robin
- Random
- Ring Hash
- Least Request
1.4 稳定性治理
问题:
- 网络攻击
- 流量突增
- 房断电
- 光纤被挖
- 机器故障
- 网络故障
- 机房空调故障
2. 字节跳动服务治理实践
2.1 重试的意义
本地函数调用
远程函数调用
重试可以避免掉偶发的错误,提高SLA (Service-Level Agreement)
降低错误率
假设单次请求的错误概率为0.01,那么连续两次错误概率则为0.0001。
降低长尾延时
对于偶尔耗时较长的请求,重试请求有机会提前返回。
容忍暂时性错误
某些时候系统会有暂时性异常(例如网络抖动),重试可以尽量规避。
避开下游故障实例
一个服务中可能会有少量实例故障(例如机器故障),重试其他实例可以成功。
2.2 重试的难点
-
幂等性
-
重试风暴
-
超时设置
2.3 重试策略
- 限制重试比例
设定一个重试比例阈值(例如1%),重试次数占所有请求比例不超过该阈值。
- 防止链路重试
链路层面的防重试风暴的核心是限制每层都发生重试,理想情况下只有最下一层发生重试。可以返回特殊的status表明“请求失败,但别重试”。
- Hedged requests
对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应。
2.4 重试效果验证
实际验证经过上述重试策略后,在链路上发生的重试放大效应。
三、课后个人总结
微服务架构治理是非常重要的,可以有效防止一些意外的非人为损失。