架构定义解析
什么是架构
架构,又称软件架构
- 是有关软件整体结构与组件的抽象描述
- 用于指导软件系统各个方面的设计
(实现一个软件有很多种方法,架构在方法选择上起着至关重要的指导作用)
单机
软件系统需要具备对外提供服务,单机,就是把所有功能都实现在一个进程里,并部署在一台机器上。
优点:
- 简单
缺点:
-
C1OK problem(C10K问题指的是设计和实现能够处理大量(约10,000个)并发连接的服务器架构的挑战。)
-
运维需要停服
单体架构
分布式部署
垂直应用架构
按应用垂直切分的单体
优点:
- 水平扩容
- 运维不需要停服
缺点:
- 职责太多,开发效率不高
- 爆炸半径大
SOA、微服务 | 水平切分
SOA(service-oriented architecture)
- 将应用的不同功能单元抽象为服务
- 定义服务之间的通信标准
微服务架构:SOA的去中心化演进方向
小结:
架构的演进初衷:好比做蛋糕
- 需求量越来越大,终归要增加人手
- 越做越复杂,终归要分工合作
架构的演进思路,就像切蛋糕。蛋糕越来越大,一口吃不下终归要切分
- 竖着切(垂直切分)
- 横着切(水平切分)
企业级后端架构剖析
背景:
云计算
是指通过软件自动化管理,提供计算资源的服务网络,是现代互联网大规模数据分析和存储的基石
云原生
云原生技术为组织(公司)在公有云、自由云、混合云等新型的动态环境中,构建和运行可弹性拓展的应用提供了可能
弹性计算资源类型:
- 服务资源调度
- 微服务:和面、雕花
- 大服务:烤箱
- 计算资源调度
- 在线:热销榜单
- 热销榜单更新
- 消息队列
- 在线:削峰、解耦
- 离线:大数据分析
弹性存储资源类型:
- 经典
- 对象:宣传视频
- 大数据:用户消费记录
- 关系型数据库
- 收银记录
- 元数据
- 服务发现:蛋糕店通讯录
- NoSQL
- KV:来个xx蛋糕
总结:将存储资源当成服务一样
DevOps
DevOps是云原生时代软件交付的利器,贯穿整个软件开发周期。
结合自动化流程,提高软件开发、交付效率
微服务架构
微服务通信标准:
- HTTP(RESTful API)
- RPC(Thrift,gRPC)
微服务中间件RPC vs HTTP:
- 性能
- 服务治理
- 协议可解释性
云原生场景下,微服务大可不必在业务逻辑中实现符合通信标准的交互逻辑,而是交给框架来做
服务网格
- 微服务之间通讯的中间层
- 高性能网络代理
- 业务代码与治理解耦
相比较于RPC/HTTP框架:
- 异构系统治理统一化
- 与业务进程解耦,生命周期易管理
云原生蛋糕店:
- 售卖
- 蛋糕制作(肉松、慕斯)
- 会员激励
- 满意度分析
- 研发新品
企业级后端架构的挑战
问题
挑战:
- 基础设施层面
- 物理资源是有限的
- 机器
- 带宽
- 资源利用率受制于部署服务
- 物理资源是有限的
- 用户层面
- 网络通信开销较大
- 网络抖动导致运维成本提高
- 异构环境下,不同实例资源水位不均
解决方案
离在线资源并池
核心收益:
- 降低物理资源成本
- 提供更多的弹性资源
解决思路:离在线资源并池
- 在线业务的特点
- IO密集型为主
- 潮汐性、实时性
- 离线业务的特点
- 计算密集型占多数
- 非实时性
引入了一个新的问题:同一个机器怎么做离在线隔离?(容器化、虚拟化)
自动扩缩容
核心收益:
- 降低业务成本
解决思路:
自动扩缩容
- 利用在线业务潮汐性自动扩缩容
问题:扩缩容依据什么指标?(CPU利用率、内存利用率)
微服务亲和性部署
核心收益:
- 降低业务成本
- 提高服务可用性
解决思路:微服务亲和性部署 (A、B存在经常的交互就可以部署在一台机器上)
- 将满足亲和性条件的容器调度到一台宿主机
- 微服务中间件与服务网格通过共享内存通信
- 服务网络控制面实施灵活、动态的流量调度
流量治理
核心收益:
- 提高微服务调用容错性
- 容灾
- 进一步提高开发效率,DevOps发挥到极致
解决思路:基于微服务中间件&服务网格的流量治理
- 熔断、重试
- 单元化
- 复杂环境(功能、预览)的流量调度
CPU水位负载均衡
核心收益:
- 打平异构环境算力差异
- 为自动扩缩容提供正向输入
解决问题:CPU水位负载均衡
- laaS
- 提供资源探针
- 服务网格
- 动态负载均衡
后端架构实战
兰师傅蛋糕店也碰到了类似的问题:
- 不同师傅干活的效率差距较大
- 有些师傅希望“能者多劳多挣”
在这个背景下,继续像之前一样为每个师傅分配完全相同的工作,会引起他们的不满。。。
那么针对CPU水位负载均衡,我们应该如何进行设计呢?
- 需要哪些输入?
- 设计时需要考虑哪些关键点?
输入
- 服务网格数据面
- 支持带权重的负载均衡策略
- 注册中心存储了所有容器的权重信息
- 宿主机能提供
- 容器的资源使用情况
- 物理资源信息(如 CPU型号)
关键点:
- 紧急回滚能力
- 大规模
- 极端场景
解决方案:
自适应静态权重
方案:
- 采集宿主机物理资源信息
- 调整容器注册的权重
优势:
- 复杂度低
- 完全分布式,可用性高
- 微服务中间件无适配成本
缺点:
- 无紧急回滚能力
- 缺乏运行时自适应能力
所以有了下面改进的解决方案:
自适应动态权重 Alpha
方案:
- 容器动态权重的自适应调整
- 服务网格的服务发现 & 流量调度能力
演进方向:
- 解决无法紧急回滚的问题
- 运行时权重自适应
缺点:
- 过度流量倾斜可能会有异常情况
针对流量倾斜又有了下面的改进方案:
自适应动态权重 Beta
P50和P99是统计学中常用的两个百分位数,用于衡量数据分布的特征和性能指标。
P50表示百分之五十分位数,也称为中位数。它表示将数据按照大小排序后,处于中间位置的值。具体而言,如果有N个数据点,那么P50就是排在第N/2个位置的值。
P99表示百分之九十九分位数,也称为百分之九十九点数。它表示将数据按照大小排序后,处于接近尾部的位置的值。具体而言,如果有N个数据点,那么P99就是排在第N*0.99个位置的值。
这两个百分位数在性能评估和容量规划中经常被使用。例如,在网络延迟测量中,P50可以用来表示中间的网络响应时间,而P99可以用来表示较长的、更具代表性的网络延迟。
总而言之,P50和P99是用于衡量数据分布和性能指标的常用百分位数,可以提供关于数据集中趋势和极端值的信息。
方案:
- 服务网格上报RPC指标
演进方向:
- 极端场景的处理成为可能
缺点:
- 时序数据库压力较大
- 动态权重决策中心职责越来越多,迭代->变更->风险
然后提出最终的解决方案:自适应动态权重 Release
自适应动态权重 Release
演进方向:
- 微服务化
- 引入消息队列削峰、解耦
- 离线在线链路切分
- 梳理强弱依赖
尾声: