微服务架构(下) | 青训营笔记

145 阅读2分钟

这是我参与「第五届青训营」伴学笔记创作活动的第 14天。

课堂笔记

一、本堂课重点内容:

  • 核心服务治理功能
  • 字节跳动服务治理实践

二、具体案例:

1. 核心服务治理功能

1.1 服务发布

发布难点

image.png

蓝绿部署

image.png

灰度发布(金丝雀发布)

image.png

1.2 流量治理

在微服务架构下,我们可以基于地区、集群、实例、请求等维度,对端到端流量的路由路径进行精确控制。

image.png

1.3 负载均衡

负载均衡(Load Balance)负责分配请求在每个下游实例上的分布。

常见的LB策略

  • Round Robin
  • Random
  • Ring Hash
  • Least Request

image.png

1.4 稳定性治理

问题:

  • 网络攻击
  • 流量突增
  • 房断电
  • 光纤被挖
  • 机器故障
  • 网络故障
  • 机房空调故障

image.png

2. 字节跳动服务治理实践

2.1 重试的意义

本地函数调用

image.png

远程函数调用

image.png

重试可以避免掉偶发的错误,提高SLA (Service-Level Agreement)

image.png

降低错误率

假设单次请求的错误概率为0.01,那么连续两次错误概率则为0.0001。

降低长尾延时

对于偶尔耗时较长的请求,重试请求有机会提前返回。

容忍暂时性错误

某些时候系统会有暂时性异常(例如网络抖动),重试可以尽量规避。

避开下游故障实例

一个服务中可能会有少量实例故障(例如机器故障),重试其他实例可以成功。

2.2 重试的难点
  • 幂等性

  • 重试风暴

    image.png

  • 超时设置

2.3 重试策略
  • 限制重试比例

设定一个重试比例阈值(例如1%),重试次数占所有请求比例不超过该阈值。

image.png

  • 防止链路重试

链路层面的防重试风暴的核心是限制每层都发生重试,理想情况下只有最下一层发生重试。可以返回特殊的status表明“请求失败,但别重试”。

  • Hedged requests

对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应。

image.png

2.4 重试效果验证

实际验证经过上述重试策略后,在链路上发生的重试放大效应。

image.png

三、课后个人总结

微服务架构治理是非常重要的,可以有效防止一些意外的非人为损失。