架构初探 | 青训营笔记

柠檬槟榔糖
79 阅读10分钟

这是我参与「第五届青训营」伴学笔记创作活动的第17天

什么是架构

架构定义

  1. 如何给架构下定义？
  • 架构，又称软件架构：
    • 是有关软件整体结构与组件的抽象描述
    • 用于指导软件系统各个方面的设计
  1. 架构的重要性？
  • 那盖房子来做举例子。
  • 我们都知道，地基对于一栋楼房的主要性，架构对于一个软件的重要性也是类似的：
    • 架构没设计好，软件容易崩，用户体验上不去。最终要么重构，要么放弃
    • 架构设计好了，软件的稳定性上去了，用户体验高了，口碑一点点就打造出来了
    • 良好的架构基础，也为软件的未来发展提供了更多的可能。为用户赋能，实现自身价值

架构演进

单机架构

All in one，所有的东西都在一个进程里，部署在一个机器上。 优点：

  • 简单 缺点：
  • 运维需要停服，用户体验较差
  • 承载能力有限。了解下 c10k 问题

单体架构：进程

在单机架构的基础上，将进程部署到多个机器上：分布式部署 优点：

  • 具备水平扩容能力
  • 运维不需要停服 缺点：
  • 后端进程职责太多，越来越臃肿
  • ** 爆炸半径较大**，进程中一个很小的模块出现问题，都可能导致整个进程崩溃

垂直应用架构：应用

在单机架构基础上，将进程按照某种依据切分开。比如，A 软件和 B 软件的后端原先采用单机架构部署，那就是一个进程部署在多个机器上；如果用垂直应用架构，可以将 A 和 B 的后端拆分为 A、B 两个进程，然后再按照单体模式的思路，部署在多个机器上。 优点：

  • 一定程度上减少了后端进程职责
  • 一定程度上缩小爆炸半径 缺点：
  • 没有根本解决单体架构的问题

SOA (面向服务架构)：服务

SOA 架构中，服务为一等公民，将进程按照不同的功能单元进行抽象，拆分为『服务』。有了服务之后，SOA 还为服务之间的通信定义了标准，保证各个服务之间通讯体验的一致性。 优点：

  • 各服务的职责更清晰
  • 运维粒度减小到服务，爆炸半径可控 缺点：
  • ESB (企业服务总线) 往往需要一整套解决方案

微服务

在 SOA 架构中，ESB 起到了至关重要的作用。但从架构拓扑来看，它更像是一个集中式的模块。有一个 SOA 分布式演进的分支，最终的形态便是微服务。······· 优点：

  • 兼具 SOA 解决的问题
  • 服务间的通信更敏捷、灵活 缺点：
  • 运维成本 注意：
  • SOA需要要一个统一的通讯方式，或是一个通讯服务
  • 微服务是去中心化的，分布式的，各个微服务之间沟通方式可能不同 image.png

小结

  • 架构演进的初衷：满足软件迭代诉求，提高迭代效率
  • 架构演进的思路：垂直切分——分布式，水平切分——分层/模块化

问题：

  1. 数据一致性？
  2. 高可用，服务之间如何合作？
  3. 治理，怎么容灾处理？
  4. 解耦 vs 过微，运维成本高了值吗？

企业级后端架构剖析

云计算

通过软件自动化管理，提供计算资源的服务网络，是现代互联网大规模熟悉分析和存储的基石。

云计算基础：

  • 虚拟化技术：整租还是合租问题
    • 硬件层面（VM 虚拟机）- KVM/Xen/VMware
    • 操作系统层面（Container 容器）- LCX/Docker/Kata Container
    • 网络层面 - Linux Bridge/Open v Switch
  • 编排方案：业主还是租赁平台
    • VM - OpenStack/VMWare Workstation
    • Container - Kubernetes/Docker Swarm

云计算架构：

  • 云服务层次
    • ** IaaS** - 云基础设施，对底层硬件资源池的抽象
      • 买房子/租赁平台
    • PaaS - 基于资源池抽象，对上层提供的弹性资源平台
      • 清包/全包
    • SaaS - 基于弹性资源平台
    • FaaS - 更轻量级的函数服务。好比 LeetCode 等 OJ，刷题时只需要实现函数，不需要关注输入输出流
  • 云部署模式
    • 私有云 - 企业自用
    • 公有云 - AWS/Azure/Google Cloud/Huawei
    • 混合云
  • 让使用者更加关注的是业务相关的东西

云原生

云原生，实际是云原生（计算）的简称，它是云计算发展到现在的一种形态。 云原生技术为组织（公司）在公有云、自由云、混合云等新型的动态环境中，构建和运行可弹性拓展的应用提供了可能。

弹性资源

基于虚拟化技术，提供的可以快速扩缩容的能力。可以分为弹性计算资源和弹性存储资源两个方面。

弹性计算资源：

  • 服务资源调度
    • 微服务
    • 大服务
  • 计算资源调度
    • 在线计算 - 互联网后端服务
    • 离线计算 - 大数据分析。Map-Reduce/Spark/Flinnk
  • 消息队列
    • 在线队列 - 削峰、解耦
    • 离线队列 - 结合数据分析的一整套方案，如 ELK

弹性存储资源：

  • 经典存储
    • 对象存储 - 视频、图片等。结合 CDN 等技术，可以为应用提供丰富的多媒体能力
    • 大数据存储 - 应用日志、用户数据等。结合数据挖掘、机器学习等技术，提高应用的体验
  • 关系型数据库
  • 元数据
    • 服务发现的数据（eg：ServerId）
  • NoSQL
    • KV 存储 - Redis
    • 文档存储 - Mongo 在云原生的大背景下，不论是计算资源还是存储资源，他们都像是服务一样供用户使用。

DevOps

  • 云原生时代的交付利器，贯穿整个软件开发周期，结合自动化的流程，提高软件开发交付的效率
    • CI/CD
    • 敏捷开发 image.png

微服务架构

微服务架构下，服务之间的通讯标准是基于协议而不是 ESB 的

  • HTTP - H1/H2
  • RPC - Apache Thrift/gRPC 如何在 HTTP 和 RPC 之间选择？
  • 性能 - RPC 协议往往具备较好的压缩率，性能较高。如 Thrift, Protocol Buffers
  • 服务治理 - RPC 中间件往往集成了丰富的服务治理能力。如 熔断、降级、超时等
  • 可解释性 - HTTP 通信的协议往往首选 JSON，可解释性、可调试性更好 image.png 云原生场景下，微服务大可不必在业务逻辑中实现符合通信标准的交互逻辑，而是交给框架来做

服务网格

什么是服务网格

  • 微服务之间通讯的中间层
  • 一个高性能的 4 层网络代理
  • 将流量层面的逻辑与业务进程解耦

没有什么是加一层代理解决不了的问题，服务网格相比较于 RPC/HTTP 框架：

  • 实现了异构系统治理体验的统一化
  • 服务网格的数据平面代理与业务进程采取进程间通信的模式，使得流量相关的逻辑（包含治理）与业务进程解耦，生命周期也更容易管理 image.png
  1. 本来应该是RPC框架与RPC框架之间通信
  2. 在使用服务网格之后，变成了Service Mesh之间进行通讯
  3. 将服务网格与业务进程解耦了

企业级后端架构的挑战

挑战:

基础设施层面：

  • 物理资源有限：云是弹性的，也就是说，在用户的角度，云提供的资源是无限的。然而，云背后的物理资源是有限的。在企业级后端架构里，云如何解决近乎无限的弹性资源和有限的物理资源之间的矛盾？
    • 机器
    • 带宽
  • 资源利用率受制于部署服务：如何提高资源利用率，提高物理资源的价值转换率？

用户层面：

  • 上了云原生微服务后，服务之间的通信开销较大，应该如何做成本优化？
  • 微服务看起来没有那么美好，抖动导致的运维成本较高，如何解决？
  • 异构的物理环境的不同资源水位不均 image.png

解决方案

离在线资源并池

在线业务特点：

  • IO密集型为主
  • 潮汐性、实时性 离线业务的特点：
  • 计算密集型占多数
  • 非实时性 考虑到在线业务的潮汐性，物理资源的用量不是一成不变的。离在线资源并池，即**在线业务不多的时候把资源多分给离线业务，自动扩缩容，**可以：
  • 提高物理资源利用率
  • 提供更多的弹性资源
  1. 问题1：同一台机器如何做到离在线隔离？
    1. 使用Cgroup、容器等对离线进程与在线进程的资源进行隔离
  2. 问题2：扩缩容依据什么指标？
    1. 使用CPU某一个统计的分位数（50%）来衡量一个服务资源的使用情况，有些耗内存的服务可以加上内存占用率，但是用qps、IO等不容易量化 image.png

微服务亲合性部署

微服务之间的通信成本较高，是否可以：

  • 形态上是微服务架构
  • 通信上是单体架构

方案

  1. 将一些调用关系紧密、通信量大的服务部署在同一个机器上
  2. 并且使用 IPC 代替 RPC 的方式，降低网络通信带来的开销，即：微服务中间件与服务网格通过共享内存或本地IPC通信
  3. 服务网格控制面实施灵活、动态的流量调度
    1. B容器调用A容器：服务网格计算，给同宿主机的A容器多少流量，给不同容器的A容器多少流量 image.png

流量治理

优点：

  • 提高服务调用的容错性
  • 容灾
  • 进一步提高开发效率
  • 微服务之间的通信流量为什么需要治理？
  • 都有哪些常用的治理手段？
  • 微服务中心件和服务网格在其中扮演着怎样的角色？

屏蔽异构环境的算力差异

  • 基础设施层往往是个复杂的异构环境，比如，有些机器的 CPU 是英特尔的，而有些是 AMD 的。就算是同一个品牌，也可能是不同代际。如何将这些差异屏蔽掉，使用户尽可能不感知呢？
  • 为自动扩缩容提供正向输入

解决思路：CPU水位负载均衡

根据反馈的资源占用情况分配流量

  • IaaS：提供资源探针
  • 服务网格：动态负载均衡 image.png

后端架构实战

问题

如何设计一个根据主机层面的资源信息，实时进行流量调度的系统，打平不同宿主机异构环境的算力差异。

关键点：

  • 紧急回滚能力
  • 大规模
  • 极端场景

输入：

  1. 服务网格数据面：支持带权重的负载均衡策略
  2. 注册中心存储了所有容器的权重信息
  3. 宿主机提供：容器资源的使用情况和物理资源的信息 image.png

总结：

  1. 没有最好的架构，只有最合适的架构
  2. 做架构设计
    1. 先从需求出发。要满足什么样的需求？预期规模有多大？
    2. 做足够的业界调研。业界对于类似的需求是怎么做的？有无成熟的方案可以借鉴？直接拿来用有什么问题？
    3. 技术选型。涉及的技术组件是自研，还是使用开源的？
    4. 异常情况。任何时候，都不能做『输入合法』的假设。容灾能力一定要有
  4. 学好架构，是工程师成长的一个重要标志
avatar
文章
阅读
粉丝