微服务框架 - 不变的基建| 青训营笔记
这是我参与「第五届青训营 」伴学笔记创作活动的第 9 天
一、本堂课重点内容:
- 微服务架构介绍——微服务架构的背景由来、架构概览、基本要素
- 微服务架构原理及特征——微服务架构的基本组件、工作原理、流量特征
- 核心服务治理功能——核心的服务治理功能,包括流量治理、服务均衡、稳定性治理
- 字节跳动服务治理实践——字节跳动在微服务架构稳定性治理中,对请求重试策略的探索及实践
二、详细知识点介绍:
微服务架构介绍
系统架构演变历史
- 单体架构
- 垂直应用架构
- 分布式架构
- SOA架构(Service Oriented Architecture)
- 微服务架构
微服务架构概览
微服务架构核心要素
- 服务治理
- 可观测性
- 安全
微服务架构原理及特征
基本概念
流量特征
统一网关入口,内网通信多数采用RPC,网状调用链路
核心服务治理功能
服务发布
服务发布(deployment),即指让一个服务升级运行新的代码的过程。
流量治理
在微服务架构下,我们可以基于地区、集群、实例、请求等维度,对端到端流量的路由路径进行精确控制。
负载均衡
负载均衡(Load Balance)负责分配请求在每个下游实例上的分布。
稳定性治理
线上服务总是会出问题的,这与程序的正确性无关。
字节跳动服务治理实践
重试的意义
重试可以避免掉偶发的错误,提高SLA (Service-Level Agreement)
- 降低错误率
假设单次请求的错误概率为0.01,那么连续两次错误概率则为0.0001。 - 降低长尾延时
对于偶尔耗时较长的请求,重试请求有机会提前返回。 - 容忍暂时性错误
某些时候系统会有暂时性异常(例如网络抖动),重试可以尽量规避。 - 避开下游故障实例
一个服务中可能会有少量实例故障(例如机器故障),重试其他实例可以成功。
重试的难点
幂等性,重试风暴,超时设置
重试策略
- 限制重试比例
设定一个重试比例阈值(例如1%),重试次数占所有请求比例不超过该阈值。 - 防止链路重试
链路层面的防重试风暴的核心是限制每层都发生重试,理想情况下只有最下一层发生重试。可以返回特殊的status表明“请求失败,但别重试”。 - Hedged requests
对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应。
重试效果验证
实际验证经过上述重试策略后,在链路上发生的重试放大效应。
三、课后总结:
- 碍于时间篇幅,本篇笔记还待后续完善