这是我参与「第三届青训营-后端场」笔记创作活动的的第14篇笔记。
微服务架构介绍
系统架构的演进历史
| 架构类型 | 原理 | 优势 | 劣势 |
|---|---|---|---|
| 单体架构 | all in one process | 性能最高；冗余小 | debug困难；模块相互影响；模块分工、开发流程 |
| 垂直应用架构 | 按照业务线垂直划分 | 业务独立开发维护 | 不同业务存在冗余；每个业务还是单体服务架构 |
| 分布式架构 | 抽出业务无关的公共模块 | 业务无关的独立服务 | 服务模块bug可导致全站瘫痪；调用关系复杂；不同服务冗余 |
| SOA架构 | 面向服务 | 服务注册 | 中心化；从上至下设计；重构困难 |
| 微服务架构 | 彻底的服务化 | 开发效率；业务独立设计；自下而上；故障隔离 | 治理、运维难度；观测挑战；安全性；分布式系统 |
微服务架构概览
- 网关
- 服务配置和治理
- 链路追踪和监控
微服务架构的三大要素
服务治理
- 服务注册
- 服务发现
- 负载均衡
- 扩缩容
- 流量治理
- 稳定性治理
可观测性
- 日志采集
- 日志分析
- 监控打点
- 监控大盘
- 异常报警
- 链路追踪
安全
- 身份验证
- 认证授权
- 访问令牌
- 审计
- 传输加密
- 黑产攻击
微服务架构原理及特征
基本概念
- 服务
- 一组具有相同逻辑（同一份代码）的运行实体。
- 实例
- 一个服务中的每个运行实体
- 实例与进程的关系
- 没有必然对应关系，一般一对一或者一对多
- 常见的实例承载形式
- 进程、VM、k8s pod......
服务间通信
- 微服务之间通过网络进行通信
- 常见的通信协议包括 HTTP、RPC
服务注册及服务发现
服务间调用中，如何指定下游服务实例的地址？
- 直接指定 ip:port？
- 没有任何动态能力
- 有多个实例下游实例怎么办？
- 使用 DNS？
- 本地 DNS 存在缓存，导致延迟
- DNS 没有负载均衡
- 不支持服务探活检查
- DNS 不能指定端口
- 解决方法：新增一个统一的服务注册中心，用于存储服务名到服务实例之间的映射关系
- 旧服务实例下线前，从服务注册中心删除该实例，下线流量
- 新服务实例上线后，在服务注册中心注册该实例，上线流量
- 微服务流量特征
- 统一网关入口
- 外网通信多数采用 HTTP（文本协议），内网通信多数采用 RPC（Thrift, gRPC等二进制协议）
- 网状调用链路
核心服务治理功能
服务发布
让一个服务升级运行新的代码的过程
难点
- 服务不可用
- 服务抖动
- 服务回滚
蓝绿部署：将服务分成两个部分，分别先后发布
- 简单、稳定
- 但需要两倍资源
灰度发布（金丝雀发布）：先发布少部分实例，接着逐步增加发布比例
- 不需要增加资源
- 回滚难度大，基础设施要求高
流量治理
在微服务架构中，可以从各个维度（地区、集群、示例、请求等）对端到端的流量在链路上进行精确控制。例如：
- 将流量打到某些地区的集群
- 将流量打到某些测试集群
- 将合理的流量打到不同性能的机器上
- 内部的请求流量到特定集群
负载均衡
负责分配请求在每个下游实例上的分布。
- Round Robin
- Random
- Ring Hash
- Least Request
稳定性治理
线上服务总是会出问题，与程序的正确性无关。客观因素：网络攻击、流量突增、机房断电、光纤被挖等
微服务架构中典型的稳定性治理功能：
- 限流：限制服务处理的最大 QPS，拒绝过多请求
- 熔断：中断请求路径，增加冷却时间从而让故障实例尝试恢复
- 过载保护：在负载高的实例中，主动拒绝一部分请求，防止实例被打挂
- 降级：服务处理能力不足时，拒绝低级别的请求，只响应线上高优请求
字节跳动服务治理实践
请求重试的意义
- 本地函数调用
- 通常没有重试意义
- 远程函数调用
- 网络抖动、下游负载高、下游机器宕机......
- 重试是有意义的，可以避免偶发性的错误，提高 SLA
- 重试的意义
- 降低错误率
- 降低长尾延时。对于偶尔耗时较长的请求，重试请求有机会提前返回。
- 容忍暂时性错误。例如网络抖动，重试可以尽量规避。
- 避开下游故障实例。一个服务中的少量实例故障，重试其它实例可以成功。
请求重试的难点
- 幂等性
- POST 请求可以重试吗？
- 重试风暴
- 随着调用链路的增加，重试次数呈指数级上升
- 超时设置
- 假设调用时间一共1s，经过多少时间开始重试？
重试策略
- 限制重试比例
- 设定一个重试比例阈值（例如 1%），重试次数占所有请求比例不超过该阈值
- 防止链路重试
- 限制每层都重试，可以返回特殊的 status code，表示“请求失败，但别重试”
- Hedged Requests
- 对于可能超时（或延时高）的请求，重新向另一个下游实例发送一个相同的请求，并等待先到达的响应
