架构初探 - 谁动了我的蛋糕 | 青训营笔记

这是我参与「第三届青训营 -后端场」笔记创作活动的的第10篇笔记

课程目标

本课程的包含以下四个方面：

• 什么是架构

  • 围绕架构的定义和演进两部分内容展开

• 企业级后端架构剖析

  • 详细介绍企业级后端架构的形态

• 企业级后端架构的挑战

  • 企业级架构都面临着哪些挑战，如何解决

• 后端架构实战

  • 结合前三部分的知识点，以第三部分中的一个挑战为例，讲解如何做架构设计

课前思考题

1. 软件架构演进至今都有哪些形态？它们分别解决了什么问题？仍然存在什么问题？
2. 云计算有哪些基础技术？云计算服务的形态又有哪些？
3. 云原生是什么？它跟云计算的关系是？
4. 云原生的代表技术有哪些？
5. 企业级后端架构面临的挑战有哪些？

课中

01. 什么是架构

1.1 架构定义

Q：如何给架构下定义？

A：架构，又称软件架构：

• 是有关软件整体结构与组件的抽象描述

• 用于指导软件系统各个方面的设计

Q：通俗一点？

实现一个软件有很多种方法，架构在方法选择上起着至关重要的作用

Q：架构的重要性？

A：那盖房子来做举例子。

我们都知道，地基对于一栋楼房的主要性，架构对于一个软件的重要性也是类似的：

• 架构没设计好，软件容易崩，用户体验上不去。最终要么重构，要么放弃

• 架构设计好了，软件的稳定性上去了，用户体验高了，口碑一点点就打造出来了

• 良好的架构基础，也为软件的未来发展提供了更多的可能。为用户赋能，实现自身价值

1.2 单机架构

单机，All in one，所有的东西都在一个进程里，部署在一个机器上。

优点：

• 简单

缺点：

• 运维需要停服，用户体验较差

• 承载能力有限。了解下 c10k 问题

1.3 单体架构：分布式部署

演进：如何卖更多的蛋糕？

在单机架构的基础上，将进程部署到多个机器上。

1.3.1 单体架构：分布式部署

垂直应用架构： 按应用垂直切分的单体

优点：

• 具备水平扩容能力

• 运维不需要停服

缺点：

• 后端进程职责太多，越来越臃肿

• 爆炸半径较大，进程中一个很小的模块出现问题，都可能导致整个进程崩溃

1.3.2 垂直应用架构

在单机架构基础上，将进程按照某种依据切分开。比如，A 软件和 B 软件的后端原先采用单机架构部署，那就是一个进程部署在多个机器上；如果用垂直应用架构，可以将 A 和 B 的后端拆分为 A、B 两个进程，然后再按照单体模式的思路，部署在多个机器上。

优点：

• 一定程度上减少了后端进程职责

• 一定程度上缩小爆炸半径

缺点：

• 没有根本解决单体架构的问题

#### 1.4 SOA (面向服务架构)

SOA 架构中，服务为一等公民，将进程按照不同的功能单元进行抽象，拆分为『服务』。有了服务之后，SOA 还为服务之间的通信定义了标准，保证各个服务之间通讯体验的一致性。

1. 将应用的不同功能单元抽象为服务
2. 定义服务之间的通信标准

优点：

• 各服务的职责更清晰

• 运维粒度减小到服务，爆炸半径可控

缺点：

• ESB (企业服务总线) 往往需要一整套解决方案

1.5 微服务

在 SOA 架构中，ESB 起到了至关重要的作用。但从架构拓扑来看，它更像是一个集中式的模块。有一个 SOA 分布式演进的分支，最终的形态便是微服务。

优点：

• 兼具 SOA 解决的问题

• 服务间的通信更敏捷、灵活

缺点：

• 运维成本

问题：

• 数据一致性
  • 装货台共交付了多少蛋糕？
• 高可用
  • 这么多师傅怎么合作？
• 治理
  • 烤箱坏了，怎么容灾？
• 解耦 vs 过微
  • 运维成本过高，值当吗？

1.6 小结

• 架构演进的初衷：满足软件迭代诉求，提高迭代效率

  • 需求量越来越大，终归要增加人手
  • 越做越复杂，终归要分工合作

• 架构演进的思路：

  • 竖着切 —— 垂直切分——分布式
  • 横着切 —— 水平切分——分层/模块化

02. 企业级后端架构剖析

2.1 云计算

云计算基础：是指通过软件进行自动化管理，提供计算资源的服务网络，是现代互联网大规模熟悉分析和存储的基石。

• 虚拟化技术 -- 整租 vs 合租

  • 硬件层面（VM 虚拟机）- KVM/Xen/VMware
  • 操作系统层面（Container 容器）- LCX/Docker/Kata Container
  • 网络层面 - Linux Bridge/Open v Switch

• 编排方案 -- 业主 vs 租赁平台

  • VM - OpenStack/VMWare Workstation
  • Container - Kubernetes/Docker Swarm

云计算架构：

• 云服务

  • IaaS - 云基础设施，对底层硬件资源池的抽象
  • PaaS - 基于资源池抽象，对上层提供的弹性资源平台
  • SaaS - 基于弹性资源平台构建的云服务
  • FaaS - 更轻量级的函数服务。好比 LeetCode 等 OJ，刷题时只需要实现函数，不需要关注输入输出流

• 云部署模式（拓展）

  • 私有云 - 企业自用
  • 公有云 - AWS/Azure/Google Cloud/Huawei
  • 混合云

2.2 云原生

云原生，实际是云原生（计算）的简称，它是元计算发展到现在的一种形态。

云原生技术为组织（公司）在公有云、自由云、混合云等新型的动态环境中，构建和运行可弹性拓展的应用提供了可能。 它的代表技术：

• 弹性资源

  • 虚拟化容器
  • 快速扩缩容

• 微服务架构

  • 业务功能单元解耦
  • 统一的通信标准

• DevOps：开发和运营

  • 敏捷开发
  • CI/CD

• 服务网格

  • 业务与治理解构
  • 异构系统的治理统一化
  • 复杂治理能力

2.2.1 弹性资源

基于虚拟化技术，提供的可以快速扩缩容的能力。可以分为弹性计算资源和弹性存储资源两个方面。 弹性计算资源：

• 服务资源调度

  • 微服务：和面、雕花
  • 大服务：烤箱

• 计算资源调度

  • 在线计算 - 互联网后端服务：热销榜单
  • 离线计算 - 大数据分析。Map-Reduce/Spark/Flinnk ： 热销榜单更新

• 消息队列

  • 在线队列 - 削峰、解耦：削峰、解耦
  • 离线队列 - 结合数据分析的一整套方案，如 ELK：大数据分析

弹性存储资源：

• 经典存储

  • 对象存储 - 视频、图片等。结合 CDN 等技术，可以为应用提供丰富的多媒体能力：宣传视频
  • 大数据存储 - 应用日志、用户数据等。结合数据挖掘、机器学习等技术，提高应用的体验：用户消费记录

• 关系型数据库

  • 收银记录

• 元数据

  • 服务发现：蛋糕店通讯录

• NoSQL

  • KV 存储 - Redis ： 来个XX蛋糕
  • 文档存储 - Mongo

在云原生的大背景下，不论是计算资源还是存储资源，他们都像是服务一样供用户使用。

2.2.2 DevOps

• DevOps是云原生时代软件交付的利器，
• 贯穿整个软件开发周期。
• 结合自动化流程，提高软件开发、交付效率

2.2.3 微服务架构

微服务架构下，服务之间的通讯标准是基于协议而不是 ESB 的。

• HTTP - H1/H2

• RPC - Apache Thrift/gRPC

如何在 HTTP 和 RPC 之间选择？

• 性能 - RPC 协议往往具备较好的压缩率，性能较高。如 Thrift, Protocol Buffers

• 服务治理 - RPC 中间件往往集成了丰富的服务治理能力。如 熔断、降级、超时等

• 可解释性 - HTTP 通信的协议往往首选 JSON，可解释性、可调试性更好

2.2.4 服务网格

什么是服务网格？

• 微服务之间通讯的中间层

• 一个高性能的 4 层网络代理

• 将流量层面的逻辑与业务进程解耦

没有什么是加一层代理解决不了的问题，服务网格相比较于 RPC/HTTP 框架：

• 实现了异构系统治理体验的统一化

• 服务网格的数据平面代理与业务进程采取进程间通信的模式，使得流量相关的逻辑（包含治理）与业务进程解耦，生命周期也更容易管理

2.3 云原生蛋糕店

企业级蛋糕架构：

• 售卖
• 制作（肉松、慕斯）
• 会员激励
• 满意度分析
• 新品研发

03. 企业级后端架构的挑战

3.1 挑战

基础设施层面：

• Q：我们总说，云是弹性的，也就是说，在用户的角度，云提供的资源是无限的。然而，云背后的物理资源是有限的。在企业级后端架构里，云如何解决近乎无限的弹性资源和有限的物理资源之间的矛盾？

• 物理资源有限

  • 机器
  • 带宽

• 资源利用率受制部署服务

• Q：闲事的资源就这么空着呢？如何提高资源利用率，提高物理资源的价值转换率？

用户层面：

• Q：上了云原生微服务后，服务之间的通信开销较大，应该如何做成本优化？

• Q：微服务看起来没有那么美好，抖动导致的运维成本较高，如何解决？

• Q：异构的物理环境应该对用户是透明的，如何屏蔽这些细节？

3.2 离在线资源并池

考虑到在线业务的潮汐性，物理资源的用量不是一成不变的。离在线资源并池，可以：

• 提高物理资源利用率，降低成本

• 提供更多的弹性资源，增加收入

• 在线业务特点
  • IO密集型为主
  • 潮汐性、实时性
• 离线业务的特点
  • 计算密集型占多数
  • 非实时性

3.3 自动扩缩容

核心收益：

• 降低业务成本

解决思路：

自动扩缩容：

• 利用在线业务潮汐性进行自动扩缩容

Q：扩缩容依据什么指标？

不同场景：

CPU：CPU某一个统计的分位数

内存：内存利用率

3.4 微服务亲合性部署

核心收益：

• 降低业务成本
• 提高服务可用性

微服务之间的通信成本较高，是否可以：

• 形态上是微服务架构

• 通信上是单体架构

亲合性部署，通过将微服务调用形态与资源调度系统结合，将一些调用关系紧密、通信量大的服务部署在同一个机器上，并且使用 IPC 代替 RPC 的方式，降低网络通信带来的开销

• 将满足亲和性条件的容器调度到一台宿主机
• 微服务中间件与服务网格通过共享内存通信
• 服务网个控制面实施灵活、动态的流量调度

3.5 流量治理

核心收益：

• 提高微服务调用容错性
• 容灾
• 进一步提高开发效率，DevOps发挥到极致。

Q：微服务之间的通信流量为什么需要治理？

Q：都有哪些常用的治理手段？

Q：微服务中心件和服务网格在其中扮演着怎样的角色？

解决思路：基于微服务中间件&服务网格流量治理

• 熔断、重试
• 单元化
• 复杂环境（功能、预览）的流量调度

3.6 CPU水位负载均衡

Q：基础设施层往往是个复杂的异构环境，比如，有些机器的 CPU 是英特尔的，而有些是 AMD 的。就算是同一个品牌，也可能是不同代际。如何将这些差异屏蔽掉，使用户尽可能不感知呢？

Q：什么情况下，我们觉得，服务需要扩容了？异构环境会对这个评判标准产生怎样的影响？

核心收益

• 打平异构环境算力差异
• 为自动扩缩容提供正向输入

解决思路：CPU水位负载均衡

• laaS
  • 提供资源探针
• 服务网格
  • 动态负载均衡

04 后端架构实战

问题

如何设计一个根据主机层面的资源信息，实时进行流量调度的系统，打平不同宿主机异构环境的算力差异。

输入:

• 服务网格数据面

  • 支持带权重的负载均衡策略

• 注册中心存储了所有容器的权重信息

• 宿主机能提供

  • 容器的资源使用情况
  • 物理资源信息（如CPU型号）

关键点：

• 紧急回滚能力

• 大规模

• 极端场景

4.1 自适应静态权重

方案：

• 采集宿主机物理资源信息
• 调整容器注册的权重

优势:

• 复杂度低
• 完全分布式，可用性高
• 微服务中间件无适配成本

缺点:

• 无紧急回滚能力
• 缺乏运行时自适应能力

4.2 自适应动态权重 Alpha

方案:

• 容器动态权重的自适应调整

• 服务网格的服务发现&流量调度能力

演进方向:

• 解决无法紧急回滚的问题
• 运行时权重自适应

缺点:

• 过度流量倾斜可能会有异常情况

4.3 自适应动态权重 Beta

方案:

• 服务网格.上报RPC指标

演进方向:

• 极端场景的处理成为可能

缺点:

• 时序数据库压力较大
• 动态权重决策中心职责越来越多，迭代->变更->风险

4.4 自适应动态权重 Release

演进方向:

• 微服务化
• 引入消息队列削峰、解耦
• 离在线链路切分
• 梳理强弱依赖

尾声

1. 没有最好的架构，只有最合适的架构

2. 做架构设计

   • 先从需求出发。要满足什么样的需求？预期规模有多大？
   • 做足够的业界调研。业界对于类似的需求是怎么做的？有无成熟的方案可以借鉴？直接拿来用有什么问题？
   • 技术选型。涉及的技术组件是自研，还是使用开源的？
   • 异常情况。任何时候，都不能做『输入合法』的假设。容灾能力一定要有

3. 学好架构，是工程师成长的一个重要标志