这是我参与「第五届青训营 」伴学笔记创作活动的第 9 天
微服务
系统架构的演进历史
- 单体架构:一个进程
- 垂直应用架构:按照业务线垂直划分
- 分布式架构:抽出与业务无关的公共模块
- SOA架构:面向服务
- 微服务架构:彻底的服务化
微服务架构概览
- 网关
- 服务配置和治理
- 链路追踪和监控
微服务架构的三大要素
-
服务治理:
- 服务注册
- 服务发现
- 负载均衡
- 扩缩容
- 流量治理
- 稳定性治理
-
可观测性:
- 日志采集
- 日志分析
- 监控打点
- 监控大盘
- 异常报警
- 链路追踪
-
安全:
- 身份验证
- 认证授权
- 访问令牌
- 审计
- 传输加密
- 黑产攻击
微服务架构中的基本概念及组件
-
服务
- 一组具有相同逻辑的运行实体
-
实例
- 一个服务中的每个运行实体
-
实例与进程的关系
- 没有必然对应关系,一般一对一或者一对多
-
常见的实例承载形式
- 进程、VM、k8s pod......
服务间通信
- 微服务之间通过网络进行通信
- 常见的通信协议包括 HTTP、RPC
服务注册及服务发现
-
基本问题
- 服务间调用中,如何指定下游服务实例的地址?
-
简单方案
-
直接指定 ip:port?
- 没有任何动态能力
- 有多个实例下游实例怎么办?
-
使用 DNS?
- 本地 DNS 存在缓存,导致延迟
- DNS 没有负载均衡
- 不支持服务探活检查
- DNS 不能指定端口
-
-
服务注册发现
- 新增一个统一的服务注册中心,用于存储服务名到服务实例之间的映射关系
- 旧服务实例下线前,从服务注册中心删除该实例,下线流量
- 新服务实例上线后,在服务注册中心注册该实例,上线流量
-
微服务流量特征
- 统一网关入口
- 外网通信多数采用 HTTP,内网通信多数采用 RPC(Thrift, gRPC)
服务发布的难点
- 服务不可用→比较严重,不可以接受
- 服务抖动→短暂不可用
- 服务回滚
如何解决?
-
蓝绿部署
- 开启两个集群,每个集群有相同的实例
- 优点:简单,稳定
- 缺点:需要两倍资源
-
蓝绿部署(Blue-Green Deployment)是一种用于减少将新软件更改引入生产环境风险的技术。它涉及运行两个完全相同的生产环境,一个称为“蓝色”,另一个称为“绿色”。蓝色环境是现有的生产环境,而绿色环境是软件的新版本。当绿色环境准备就绪时,将流量路由到它并进行测试。如果绿色环境通过测试,则保持流量在绿色环境上。如果测试失败,则将流量路由回蓝色环境。
-
灰度发布(金丝雀发布)是一种重要的软件开发技术,它可以帮助开发者将应用程序更快地部署到生产环境中。它的优势在于,它可以帮助开发者将软件发布到少量的用户中,从而收集反馈,并在基础设施上进行测试,从而避免发布后的崩溃和故障。灰度发布还可以帮助开发者更轻松地实现功能迭代,可以更好地实现A/B测试,以便更好地了解用户的偏好,并根据需要调整应用程序。因此,灰度发布是软件开发项目中一个必不可少的环节,可以帮助开发者及时发现问题并快速解决,从而提升产品质量,提高用户体验。
微服务治理
-
流量治理
- 在微服务架构下,可以基于地区、集群、实例、请求等为维度,对端到端流量的路由路径进行治理
-
负载均衡
-
负责分配请求在每个下游实例上的分布
-
常见LB策略:
常见LB策略包括轮询、最小连接数、加权轮询、加权最小连接数、一致性哈希、基于响应时间的加权轮询等。
-
-
稳定性治理
-
线上服务总是会出问题,与程序的正确性无关,如网络攻击、机房空调损坏等
-
治理方式:
- 限流:如5000qps请求拒绝4000qps
- 熔断:服务器有熔断器,拒绝下游流量,同时间断一定时间重连
- 过载保护:如CPU 99%时,直接拒绝一部分或全部的流量
- 降级:高等级服务做处理,低等级服务拒绝掉
-
字节跳动服务治理实践
-
请求重试的意义
-
本地函数调用
- 通常没有重试意义
-
远程函数调用
- 网络抖动、下游负载高、下游机器宕机......
- 重试是有意义的,可以避免偶发性的错误,提高 SLA
-
重试的意义
- 降低错误率
- 降低长尾延时
- 容忍暂时性错误
- 避开下游故障实例
-
-
请求重试的难点
-
幂等性
- POST 请求可以重试吗?
-
重试风暴
- 随着调用链路的增加,重试次数呈指数级上升
-
超时设置
- 假设调用时间一共1s,经过多少时间开始重试?
-
-
重试策略
-
限制重试比例
- 设定一个重试比例阈值(例如 1%),重试次数占所有请求比例不超过该阈值
-
防止链路重试
- 返回特殊的 status code,表示“请求失败,但别重试”
-
Hedged Requests
- 对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应
-
-
重试效果验证
- 字节跳动重试组件能够极大限制重试发生的链路放大效应