这是我参与「第五届青训营」伴学笔记创作活动的第 6 天。

课程目标

本课程的包含以下四个方面：

什么是架构
- 围绕架构的定义和演进两部分内容展开
企业级后端架构剖析
- 详细介绍企业级后端架构的形态
企业级后端架构的挑战
- 企业级架构都面临着哪些挑战，如何解决
后端架构实战
- 结合前三部分的知识点，以第三部分中的一个挑战为例，讲解如何做架构设计

课前知识

什么是架构

常见软件架构：

单机
单体
垂直应用
SOA (Service Oriented Architecture)
微服务 (Microservice)

一些小问题：

如何给架构下定义？
架构的重要性？
架构演进的初衷？
架构演进的思路？

企业级后端架构剖析

云计算
- 基础
  - 虚拟化
  - 编排
- 架构
  - IaaS
  - SaaS
  - PaaS
  - FaaS
云原生
- 弹性资源
  - 计算资源
  - 存储资源
- 微服务架构
  - 通信协议
  - 中间件
- DevOps
  - 软件生命周期
- 服务网格

企业级后端架构的挑战

离线任务
在线任务
IO 密集型
CPU 密集型
服务治理
IPC (Inter-Process Communication)
RPC (Remote Procedure Call)

后端架构实战

负载均衡 Load Balancing
服务发现 Service Discovery
服务注册 Service Registry
宿主机 Host
容器 Container
时序数据 Time Series
一致性哈希 Consistent Hash

1 什么是架构

1.1 定义

架构，又称软件架构：

是有关软件整体结构与组件的抽象描述
用于指导软件系统各个方面的设计

架构的重要性？

以盖房子来做举例子。我们都知道，地基对于一栋楼房的主要性，架构对于一个软件的重要性也是类似的：

架构没设计好，软件容易崩，用户体验上不去。最终要么重构，要么放弃
架构设计好了，软件的稳定性上去了，用户体验高了，口碑一点点就打造出来了
良好的架构基础，也为软件的未来发展提供了更多的可能。为用户赋能，实现自身价值

1.2 单机架构

All in one，把所有的功能都实现在一个进程里，部署在一个机器上。

优点：

简单

缺点：

运维需要停服，用户体验较差
承载能力有限。 c10k 问题

1.3 垂直切分——单体、垂直应用

垂直切分的意思是，根据应用把架构做垂直拆分

1.3.1 单体架构

在单机架构的基础上，将进程部署到多个机器上，并引入负载均衡层。

优点：

具备水平扩容能力
运维不需要停服

缺点：

后端进程职责太多，越来越臃肿
爆炸半径较大，进程中一个很小的模块出现问题，都可能导致整个进程崩溃

1.3.2 垂直应用架构

在单体架构基础上，将进程按照某种依据切分开。比如，A 软件和 B 软件的后端原先采用单机架构部署，那就是一个进程部署在多个机器上；如果用垂直应用架构，可以将 A 和 B 的后端拆分为 A、B 两个进程，然后再按照单体模式的思路，部署在多个机器上。

优点：

一定程度上减少了后端进程职责
一定程度上缩小爆炸半径

缺点：

没有根本解决单体架构的问题
- 开发者不仅要关心 Web 后端业务逻辑，还要关心缓存、持久化存储、甚至跟机器打交道，RD 很难分出精力专注于业务功能的开发
- 业务发展需要上线变更，将会影响所有其他不涉及的场景，一旦出问题，影响不可估量

1.4 水平切分——SOA、微服务

水平切分的意思是，根据模块/职责对架构进行水平拆分

1.4.1 面向服务架构（Service Oriented Architecture，SOA）

SOA 架构中，服务为一等公民：

将进程按照不同的功能单元进行抽象，拆分为『服务』。例如，负责用户登录信息的Passport服务、负责持久化存储的数据库服务、负责加快查询的缓存服务。
有了服务之后，SOA 还为服务之间的通信定义了标准，保证各个服务之间通讯体验的一致性。有两大发展方向：
- 中心化。形态较重。拓展性和普及性不佳。
- 去中心化—>微服务

优点：

各服务的职责更清晰
运维粒度减小到服务，爆炸半径可控

缺点：

ESB (企业服务总线) 往往需要一整套解决方案

1.4.2 微服务

在 SOA 架构中，ESB 起到了至关重要的作用。但从架构拓扑来看，它更像是一个集中式的模块。有一个 SOA 分布式演进的分支，最终的形态便是微服务。

优点：

兼具 SOA 解决的问题
服务间的通信更敏捷、灵活

缺点：

运维成本高，一个团队甚至一个人可能同时管理多个微服务

1.5 小结

架构演进的初衷：满足软件迭代诉求，提高迭代效率
架构演进的思路：垂直切分——分布式，水平切分——分层/模块化

2 企业级后端架构剖析

2.1 云计算

云计算，是指通过软件自动化管理，提供计算资源的服务网络，是现代互联网大规模数据分析和存储的基石。

2.1.1 虚拟化技术

硬件层面（VM 虚拟机）- KVM/Xen/VMware
操作系统层面（Container 容器）- LCX/Docker/Kata Container
网络层面 - Linux Bridge/Open v Switch

2.1.2 编排方案

VM - OpenStack/VMWare Workstation
Container - Kubernetes/Docker Swarm

2.1.3 云计算架构

2.1.3.1 云服务

IaaS - 云基础设施，对底层硬件资源池的抽象
PaaS - 基于资源池抽象，对上层提供的弹性资源平台
SaaS - 基于弹性资源平台构建的云服务
FaaS - 更轻量级的函数服务。好比 LeetCode 等 OJ，刷题时只需要实现函数，不需要关注输入输出流

2.1.3.2 云部署模式（拓展）

私有云 - 企业自用
公有云 - AWS/Azure/Google Cloud/Huawei
混合云

2.2 云原生

云原生，实际是云原生（计算）的简称，它是云计算发展到现在的一种形态。

云原生技术为组织（公司）在公有云、自由云、混合云等新型的动态环境中，构建和运行可弹性拓展的应用提供了可能。它的代表技术：

弹性资源
微服务架构
DevOps
服务网格

2.2.1 弹性计算资源

基于虚拟化技术，提供的可以快速扩缩容的能力。可以分为弹性计算资源和弹性存储资源两个方面。

2.2.1.1 弹性计算资源

服务资源调度
- 微服务
- 大服务
计算资源调度
- 在线计算 - 互联网后端服务
- 离线计算 - 大数据分析。Map-Reduce/Spark/Flinnk
消息队列
- 在线队列 - 削峰、解耦
- 离线队列 - 结合数据分析的一整套方案，如 ELK

2.2.1.2 弹性存储资源

经典存储
- 对象存储 - 视频、图片等。结合 CDN 等技术，可以为应用提供丰富的多媒体能力
- 大数据存储 - 应用日志、用户数据等。结合数据挖掘、机器学习等技术，提高应用的体验
关系型数据库
元数据
- 服务发现
NoSQL
- KV 存储 - Redis
- 文档存储 - Mongo

在云原生的大背景下，不论是计算资源还是存储资源，他们都像是服务一样供用户使用。

2.2.2 微服务架构

微服务架构下，服务之间的通讯标准是基于协议而不是 ESB 的。

HTTP - H1/H2
RPC - Apache Thrift/gRPC

如何在 HTTP 和 RPC 之间选择？

性能 - RPC 协议往往具备较好的压缩率，性能较高。如 Thrift, Protocol Buffers
服务治理 - RPC 中间件往往集成了丰富的服务治理能力。如熔断、降级、超时等
可解释性 - HTTP 通信的协议往往首选 JSON，可解释性、可调试性更好

2.2.3 DevOps

DevOps 是云原生时代软件交付的利器，贯穿整个软件开发周期，结合自动化流程，提高软件开发、交付效率。

DevOps中的Dev指的是Development（开发），Ops指的是Operations（运维），用一句话来说，DevOps就是打通开发运维的壁垒，实现开发运维一体化。

2.2.4 服务网格

什么是服务网格？

微服务之间通讯的中间层
一个高性能的 4 层网络代理
将流量层面的逻辑与业务进程解耦

没有什么是加一层代理解决不了的问题，服务网格相比较于 RPC/HTTP 框架：

实现了异构系统治理体验的统一化
服务网格的数据平面代理与业务进程采取进程间通信的模式，使得流量相关的逻辑（包含治理）与业务进程解耦，生命周期也更容易管理

3 企业级后端架构的挑战

基础设施层面：

Q：我们总说，云是弹性的，也就是说，在用户的角度，云提供的资源是无限的。然而，云背后的物理资源是有限的。在企业级后端架构里，云如何解决近乎无限的弹性资源和有限的物理资源之间的矛盾？

Q：闲事的资源就这么空着呢？如何提高资源利用率，提高物理资源的价值转换率？

用户层面：

Q：上了云原生微服务后，服务之间的通信开销较大，应该如何做成本优化？

Q：微服务看起来没有那么美好，抖动导致的运维成本较高，如何解决？

Q：异构的物理环境应该对用户是透明的，如何屏蔽这些细节？

3.1 离在线资源并池

考虑到在线业务的潮汐性，物理资源的用量不是一成不变的。离在线资源并池可以：

提高物理资源利用率
提供更多的弹性资源

在线业务的特点：

IO 密集型为主
潮汐性、实时性

离线业务的特点：

计算密集型为主
非实时性

问题：同一个机器怎么做离在线隔离

3.2 自动扩缩容

作用：降低业务成本

思路：利用在线业务潮汐性自动扩缩容

3.3 微服务亲合性部署

微服务之间的通信成本较高，是否可以：

形态上是微服务架构
通信上是单体架构

亲合性部署，通过将微服务调用形态与资源调度系统结合，将一些调用关系紧密、通信量大的服务部署在同一个机器上，并且使用 IPC 代替 RPC 的方式，降低网络通信带来的开销。

作用：

降低业务成本
提高服务可用性

思路：

将满足亲和性条件的容器调度到一台宿主机
微服务中间件与服务网格通过共享内存通信
服务网格控制面实施灵活、动态的流量调度

3.3 流量治理

作用：

提高微服务调用容错性
容灾
进一步提高开发效率

思路：

熔断、重试
单元化
复杂环境（功能、预览）的流量调度

3.4 CPU 水位负载均衡

作用：

打平异构环境算力差异
为自动扩缩容纪念馆提供正向输入

思路：

IaaS：提供资源探针
服务网格：动态负载均衡

4 后端架构实战

4.1 问题提炼

如何设计一个根据主机层面的资源信息，实时进行流量调度的系统，打平不同宿主机异构环境的算力差异。

输入：

服务网格数据面
- 支持带权重的负载均衡策略
注册中心存储了所有容器的权重信息
宿主机能提供
- 容器的资源使用情况
- 物理资源信息（如 CPU 型号）

关键点：

紧急回滚能力
大规模
极端场景

4.2 自适应静态权重

方案：

采集宿主机物理资源信息
调整容器注册的权重

优势：

复杂度低
完全分布式
微服务中间件无适配成本

缺点：

无紧急回滚能力
缺乏运行时自适应能力

4.3 自适应静态权重 Alpha

方案：

容器动态权重的自适应调整
服务网格的服务发现 & 流量调度能力

演进方向：

解决无法紧急回滚的问题。（回滚时，重新使用静态权重）
运行时权重自适应

缺点：流量过度倾斜可能会有异常情况

4.4 自适应静态权重 Beta

方案：服务网格上报 RPC指标

演进方向：极端场景（流量过度倾斜）的处理成为可能

缺点：

时序数据库压力较大
动态权重决策中心职责越来越多，迭代 -> 变更 -> 风险

4.4 自适应静态权重 Release