这是我参与「第五届青训营」伴学笔记创作活动的第 5 天
微服务治理初探 | 青训营笔记
零、序言
本文记录和整理了本人在字节青训营中学习的一些所得所想，用于本人回顾和梳理相关知识点，也欢迎大家参考，一同学习。如果发现有问题或者错误，可以在下方留言或者私信我（＾-＾）
一、课程重点
本课程内容主要分为以下4个方面：
- 微服务架构介绍：微服务架构的背景由来、架构概览、基本要素
- 微服务架构原理及特征：微服务架构的基本组件、工作原理、流量特征
- 核心服务治理功能：核心的服务治理功能，包括流量治理、服务均衡、稳定性治理
- 字节跳动服务治理实践：字节跳动在微服务架构稳定性治理中，对请求重试策略的探索及实践
二、微服务架构介绍
2.1 微服务架构概览
- 网关
- 服务配置和治理
- 链路追踪和监控
2.2 微服务架构的三大要素
- 服务治理
- 服务注册
- 服务发现
- 负载均衡
- 扩缩容
- 流量治理
- 稳定性治理
- 可观测性
- 日志采集
- 日志分析
- 监控打点
- 监控大盘
- 异常报警
- 链路追踪
- 安全
- 身份验证
- 认证授权
- 访问令牌
- 审计
- 传输加密
- 黑产攻击
三、微服务架构原理及特征
3.1 微服务架构中的基本概念及组件
- 服务
- 一组具有相同逻辑的运行实体
- 实例
- 一个服务中的每个运行实体
- 实例与进程的关系
- 没有必然对应关系，一般一对一或者一对多
- 常见的实例承载形式
- 进程、VM、k8s pod......
3.2 服务间通信
- 微服务之间通过网络进行通信
- 常见的通信协议包括 HTTP、RPC
3.3 服务注册及服务发现
服务间调用中，如何指定下游服务实例的地址？
-
以 hardcode 指定实例地址
服务可能有多个实例，没法 hardcode，服务本身是动态变化的
-
使用 DNS？
本地 DNS 存在缓存，导致延迟；DNS 没有负载均衡；不支持服务探活检查；DNS 不能指定端口
-
服务注册发现
新增一个统一的服务注册中心，用于存储服务名到服务实例之间的映射关系。旧服务实例下线前，从服务注册中心删除该实例，下线流量。新服务实例上线后，在服务注册中心注册该实例，上线流量。
微服务流量特征
- 统一网关入口
- 外网通信多数采用 HTTP，内网通信多数采用 RPC（Thrift, gRPC）
四、核心服务治理功能
4.1 服务发布
何为服务发布
让一个服务升级运行新的代码的过程
服务发布难点
- 服务不可用
- 服务抖动
- 服务回滚
蓝绿部署
- 将服务分成两个部分，分别先后发布
- 简单、稳定
- 但需要两倍资源
灰度发布（金丝雀发布）
- 先发布少部分实例，接着逐步增加发布比例
- 不需要增加资源
- 回滚难度大，基础设施要求高
4.2 流量治理
流量控制
在微服务架构中，可以从基于地区、集群、实例、请求等各个维度对端到端的流量在链路上进行精确控制。
4.3 负载均衡
负载均衡负责分配请求在每个下游实例上的分布
创建的负载均衡策略：
- Round Robin
- Random
- Ring Hash
- Least Request
4.4 稳定性治理
线上服务总是会出问题的，这与程序的正确性无关，比如网络攻击、流量突增、机器故障等。面对这些突发情况，微服务架构提供了一些典型的稳定性治理功能。
- 限流：限制服务处理的最大 QPS，拒绝过多请求
- 熔断：中断请求路径，增加冷却时间从而让故障实例尝试恢复
- 过载保护：在负载高的实例中，主动拒绝一部分请求，防止实例被打挂
- 降级：服务处理能力不足时，拒绝低级别的请求，只响应线上高优请求
五、字节跳动服务治理实践
请求重试的意义
本地函数调用，通常没有重试意义。
远程函数调用，可能会出现网络抖动、下游负载高、下游机器宕机等异常，此时重试是有意义的，可以避免偶发性的错误，提高 SLA。
重试的意义
- 降低错误率，连续两次请求错误的概率小于请求一次错误
- 降低长尾延时，对于偶尔耗时过长的请求，重试请求有机会提前返回
- 容忍暂时性错误，例如网络抖动
- 避开下游故障实例，一个服务中可能会有少量实例故障，重试其他实例可能成功
请求重试的难点
幂等性
- POST 请求可以重试吗？POST不是幂等的，可能出现重复提交
重试风暴
- 随着调用链路的增加，重试次数呈指数级上升
超时设置
- 假设调用时间一共1s，经过多少时间开始重试？
重试策略
限制重试比例，设定一个重试比例阈值（例如 1%），重试次数占所有请求比例不超过该阈值。
防止链路重试，返回特殊的 status code，表示“请求失败，但别重试”
Hedged Requests，对于可能超时（或延时高）的请求，重新向另一个下游实例发送一个相同的请求，并等待先到达的响应。
课后习题
- 结合 CAP 等原理，思考微服务架构有哪些缺陷？
- 微服务是否拆分得越“微”越好？为什么？
- Service Mesh 这一架构是为了解决微服务架构的什么问题？
- 有没有可能有这样一种架构，从开发上线运维体验上是微服务，但实际运行又类似单体服务？
