这是我参与「第五届青训营 」伴学笔记创作活动的第10天
PPT: bytedance.feishu.cn/file/boxcnc…
讲师: 周余发
课程背景:
为什么有这门课程? 微服务架构是当前大多数互联网公司的标准架构
可以学到什么?
微服务架构的又来及原理
服务治理功能是如何工作的
01 微服务架构介绍
系统架构演进原因
互联网爆炸性发展
硬件设施的快速发展
需求复杂性多样化
开发人员急剧增加
计算机理论及技术发展
系统架构演变历史
↓ 单体架构
优势: 1 性能最高 2 冗余小
劣势: 1 debug困难 2 模块互相影响 3 开发人员多时, 模块分工, 开发流程复杂
↓ 垂直应用架构
优势: 1 业务独立开发维护
劣势: 1 不同业务存在冗余 2 每个业务还是单体
↓ 分布式架构
抽出业务无关的公共模块
优势: 1 业务无关的独立服务
劣势: 1 服务模块bug可导致全站瘫痪 2 调用关系复杂 3 不同服务冗余
↓ SOA架构
Service Oriented Architecture: 面向服务
优势: 1 服务注册
劣势: 1 整个系统设计是中心化的 2 需要从上至下设计 3 重构困难
↓ 微服务架构
彻底的服务化
优势: 1 开发效率 2 业务独立设计 3 自下而上 4 故障隔离
劣势: 1 治理, 运维难度 2 观测挑战 3 安全性 4 分布式系统的劣势
微服务架构核心要素
1 服务治理⭐
服务注册
服务发现
负载均衡
扩缩容
流量治理
稳定性治理
...
2 可观测性
日志采集
日志分析
监控打点
监控大盘
异常报警
链路追踪
...
3 安全
身份验证
认证授权
访问令牌
审计
传输加密
黑产攻击
...
总结
系统架构的演变历史
微服务架构的整体概览
微服务架构中的核心要素
02 微服务架构原理及特征
基本概念
服务(service): 一组具有相同逻辑的运行实体
实例(instance): 一个服务中, 每个运行实体即为一个实例
实例与进程的关系
实例与进程之间没有必然对应关系, 可以一个实例可以对应一个或多个进程(反之不常见)
集群(cluster):
通常指服务内部的逻辑划分, 包含多个实例
常见的实例承载形式:
进程, VM, k8s pod ...
有状态/无状态服务:
服务的实例是否存储了可持久化的数据(例如磁盘文件)
服务间通信:
对于单体服务, 不同模块通信只是简单的函数调用
对于微服务, 服务间通信意味着网络传输
服务注册及发现
问题
在代码层面, 如何指定调用一个目标服务的地址(ip:port)?
hardcode?
如, client := grpc.NewClient("10.23.45.67:8080")
不行的原因: 1 地址是动态的, 不能写死 2 地址不止一个
DNS?
不行的原因:
1 本地DNS存在缓存, 导致延时
2 负载均衡问题
3 不支持服务实例的探活检查
4 域名无法配置端口
解决思路:
新增一个统一的服务注册中心, 用于存储服务名到服务实例的映射
服务实例上线及下线过程
下线前, 会先在服务中心注销, 等到没有流量打过来了才会下线
上线前, 会进行health check
流量特征
统一网关入口
内网通信多数采用RPC
网状调用链路
总结
微服务架构中的基本组件及术语
服务注册及发现
无损的服务实例上下线流程
微服务架构中的基本流量特征
03 核心服务治理功能
服务发布
服务发布(deployment): 让一个服务升级运行新代码的过程
难点:
1 服务不可用
2 服务抖动
3 服务回滚
蓝绿部署
优点: 简单, 稳定
缺点: 需要两倍资源
适合在流量低谷进行
灰度发布(金丝雀发布)
优点: 比蓝绿部署省资源
缺点: 1 服务回滚比蓝绿部署难很多
流量治理
在微服务架构下, 我们可以基于地区, 集群, 实例, 请求等维度, 对端到端流量的路由路径进行精确控制
负载均衡
负载均衡(Load Balance): 负载分配请求在每个下游实例上的分布
常见的LB策略
Round Robin
Random
Ring Hash
Least Request
...
稳定性治理
线上服务总是会出问题的, 这与程序的正确性无关
原因:
网络攻击
流量突增
机房断电
光纤被挖
机器故障
网络故障
机房空调故障
...
微服务架构中典型的稳定性治理功能:
限流
熔断
过载保护
降级 (识别流量等级, 拒绝低级流量, 处理重要流量)
总结
服务发布: 蓝绿部署, 灰度部署
基于地区, 集群, 实例, 请求等维度的流量治理功能
几种常见的负载均衡策略
微服务架构中的稳定性治理功能
04 字节跳动服务治理实践
重试的意义
本地函数调用
可能有那些异常?
参数非法
OOM(Out Of Memory)
NPE(Null Pointer Exception)
边界case
系统崩溃
死循环
程序异常退出
远程函数调用
可能有那些异常?
网络抖动
下游负载高导致超时
下游机器宕机
本地机器负载高, 调度超时
下游熔断, 限流
本地函数异常一般不用重试, 因为再重试一般也不会成功
远程函数异常可以重试, 重试后可能就成功了
重试可以避免掉偶发的错误, 提高SLA(Service-Level Agreement)
总之可以
降低错误率: 单次请求错误概率为0.01, 则连续两次错误概率为0.0001
降低长尾延时: 对于偶尔耗时较长的请求, 重试请求有机会提前返回
容忍暂时性错误: 如网络抖动等
避开下游故障实例: 少量实例故障, 重试其他实例可以成功
重试的难点
幂等性
重试风暴
解决策略:
限制重试比例
设定一个重试比例阈值(例如: 1%), 重试次数占所有请求比例不超过该阈值
(思路: 重试只有在大部分请求是成功时, 才有意义)
防止链路重试
链路层面的防重试风暴的核心是限制每层都发生重试, 理想情况下只有最下一层发生重试
可以返回特殊的status表示'请求失败, 但别重试'
Hedged request
对于可能超时(或延时高)的请求, 重新向另一个下游实例发送一个相同的请求, 并等待先到达的响应
实际验证经过上述重试策略后, 在链路上发送的重试放大效应, 由n的幂降为n+常数
超时设置
总结
重试的意义及难点
应对重试风暴的策略
课程总结
微服务架构介绍
微服务架构原理及特征
核心服务治理功能
字节跳动服务治理实践
