青训营第三期 | 架构初探

dbfires
149 阅读11分钟

什么是架构？

定义 :

  • 软件整体结构和组件的抽象描述
  • 用于指导软件系统的各个方面的设计

演进：

  • 单机架构：All in one，所有的东西都在一个进程里，部署在一个机器上

    • 优点：简单

    • 缺点：

      • 运维需要停服，用户体验较差
      • 承载能力有限。了解下 c10k 问题
(一个蛋糕店只有一个师傅，当有很多人来购买蛋糕的时候很容易会发生顾不过来的问题)。

  • 单体架构：将进程部署到多台机器上，并且引入了负载均衡层，负债均衡将需求分配给不同的进程，经过这样的垂直拆分，就相当于将进程部署到多个机器上。

    优点：

    • 具备水平扩容能力
    • 运维不需要停服

    缺点：

    • 后端进程职责太多，越来越臃肿
    • 爆炸半径较大，进程中一个很小的模块出现问题，都可能导致整个进程崩溃

image.png

初步的问题解决方案是 ---（类似于多雇佣几个蛋糕师傅，大堂经理负责将用户的需求分配给不同的蛋糕师傅），但是每个师傅要做多种蛋糕，首先效率会比较低。其次任务也比较重，随着购买人的增加，也会不堪重负

  • 垂直架构（相当于垂直切分）：按照应用垂直拆分，在单机架构基础上，将进程按照某种依据切分开。比如，A 软件和 B 软件的后端原先采用单机架构部署，那就是一个进程部署在多个机器上；如果用垂直应用架构，可以将 A 和 B 的后端拆分为 A、B 两个进程，然后再按照单体模式的思路，部署在多个机器上。

    优点：

    • 一定程度上减少了后端进程职责
    • 一定程度上缩小爆炸半径

    缺点：

    • 没有根本解决单体架构的问题(一旦出了问题，影响是大范围的)

image.png

```
（相当于我们可以按照师傅的手艺进行拆分成不同的工作业务）
```

  • SOA (面向服务架构)：

    • 将进程按照不同的功能单元进行抽象，拆分为**『服务』**，例如持久化的数据库服务，加快查询速度的缓存服务等等
    • 有了服务之后，SOA 还为服务之间的通信定义了标准，保证各个服务之间通讯体验的一致性。

    优点：

    • 各服务的职责更清晰
    • 运维粒度减小到服务，爆炸半径可控

    缺点：

    • ESB (企业服务总线) 往往需要一整套解决方案

image.png

可以理解为我们我将面包的制作、面包的售卖进行了拆分，有专门和面的，专门弄杂活的，专门进行售卖的。售卖和后厨就通过某种方式进行交流。大大提高了效率，也避免了某个环节出现问题导致的过大影响。
  • 微服务架构：在 SOA 架构中，ESB(企业服务总线) 起到了至关重要的作用。但从架构拓扑来看，它更像是一个集中式的模块。相当于 SOA 分布式演进的分支，最终的形态便是微服务。

image.png - 数据一致性：装货台交付多少蛋糕 - 服务与依赖主键增多，如何保持高可用：师傅之间如何合作 - 治理：烤箱坏了怎么容灾 - 解耦vs过微：运维成本高了，值的吗？

  • 总结：

    • 架构演进的初衷：满足软件迭代诉求，提高迭代效率

      • 需求越来越大，需要增加人手
      • 越做越复杂，需要分工合作

    • 架构演进的思路：（类似切蛋糕，蛋糕越来越大）

      • 垂直切分——分布式
      • 水平切分——分层/模块化

企业级后端架构剖析

在积累好口碑和用户基础之后，需要扩大规模：那么
店面怎么盘？
师傅怎么招?
是否继续手工制作？
工作中心是什么?

云计算：

  • 基础：

    • 虚拟化技术 - 整租 vs 合租 （房屋）

      • 硬件层面（VM 虚拟机）- KVM/Xen/VMware
      • 操作系统层面（Container 容器）- LCX/Docker/Kata Container
      • 网络层面 - Linux Bridge/Open v Switch

    • 编排方案 - 业主 vs 租赁平台 （房屋的持有者）

      • VM - OpenStack/VMWare Workstation (虚拟机编排方案)
      • Container - Kubernetes/Docker Swarm (容器编排方案)

  • 架构：

image.png

(括号左边表示我们正常的操作，右边表示云服务)

-   IaaS (Infrastructure)- 云基础设施，对底层硬件资源池的抽象 (买房子 vs 房屋租赁平台)
-   PaaS(Platform) - 基于资源池抽象，对上层提供的弹性资源平台 （维修公司 清包 vs 全包）
-   SaaS(Software) - 基于弹性资源平台构建的云服务 （从零培训 vs 雇佣培训过的师傅）
-   FaaS(Function) - 更轻量级的函数服务。好比 LeetCode 等 OJ，刷题时只需要实现函数，不需要关注输入输出流（纯手工制作 vs 蛋糕机批量生产）

  • 云部署模式（拓展）

    • 私有云 - 企业自用
    • 公有云 - AWS/Azure/Google Cloud/Huawei
    • 混合云

云原生：云原生技术为组织（公司）在公有云、自由云、混合云等新型的动态环境中，构建和运行可弹性拓展的应用

image-20220518104739961

  • 弹性资源：基于虚拟化技术，提供的可以快速扩缩容的能力。可以分为弹性计算资源和弹性存储资源两个方面(4G8核 - 2G4核等等)。

    • 弹性计算资源：

      • 服务资源调度：

        • 微服务：和面、雕花
        • 大服务：烤箱

      • 计算资源的调度：

        • 在线：热销榜单（互联网后端服务）
        • 离线：热销榜单更新（数据量过大，无法在线更新）- 大数据分析

      • 消息队列：

        • 在线队列 - 削峰、解耦
        • 离线队列 - 结合数据分析搭建一整套方案，如 ELK

    • 弹性存储资源：

      • 经典存储

        • 对象存储 - 视频、图片等。结合 CDN 等技术，可以为应用提供丰富的多媒体能力
        • 大数据存储 - 应用日志、用户消费数据等。结合数据挖掘、机器学习等技术，提高应用的体验

      • 关系型数据库(mysq)：收银记录

      • 元数据

        • 服务发现：类似于蛋糕店的通信录（类似在沟通的时候加上姓名，来保证更快的定位）

      • NoSQL

        • KV 存储 - Redis
        • 文档存储 - Mongo

    • 总结：不论是计算资源还是存储资源，他们都像是服务一样供用户使用。

  • 微服务架构（微服务架构下，服务之间的通讯标准是基于协议而不是 ESB 的）：

    • 通信标准：

      • HTTP - H1/H2 ： Restful API

      • RPC - Apache Thrift/gRPC

      • 如何在 HTTP 和 RPC 之间选择？

image.png

        -   性能 - RPC 协议往往具备较好的压缩率，性能较高。如 Thrift, Protocol Buffers
        -   服务治理 - RPC 中间件往往集成了丰富的服务治理能力。如 **熔断、降级、超时**等
        -   可解释性 - HTTP 通信的协议往往首选 **JSON，可解释性、可调试性**更好

-   在云原生场景下，我们更倾向于将服务交给框架来做
  • DevOps：服务部署到云上后如何执行操作？结合自动化流程，提高软件开发、以及交付效率

image.png - 服务网格：业务如何落地？多个不同的系统（例如不同语言）如何统一？

image.png

    -   什么是服务网格？

        -   微服务之间通讯的中间层 ：协调两个微服务之间的运作
        -   一个高性能的 4 层网络代理
        -   将流量层面的逻辑与业务进程解耦

    -   服务网格相比较于 RPC/HTTP 框架：

        -   实现了**异构系统治理**体验的统一化
        -   服务网格的数据平面代理与业务**进程采取进程间通信（相当于有一个共享资源池）** 的模式，使得流量相关的逻辑（包含治理）与业务进程解耦，生命周期也更容易管理

-   架构刨析：

image.png

    ```
    首先我们的蛋糕店会经过大众点评去暴露给用户，用户可以根据最近的地理位置去找到最近的连锁店，进到连锁店之后会和售卖的进行打交道，因为用户量的 问题，我们首先：
    1、不直接进行现做现卖 -- 我们利用一个缓存机制进行蛋糕存储（缓存）
    2、如果缓存中没有所需的蛋糕，就需要我们现场去做了，这样就会造成一个(缓存击穿)- 直接去制作过程中等待
    3、在制作上，对不同的蛋糕制作进行了(垂直拆分)，划分成不同种类
    4、在售卖蛋糕的时候，会做一份（用户的行为分析）
    5、对于用户行为数据量比较大的，放置到离线消息队列上去，对于实时性的数据放置到在线消息队列上（例如设定会员卡、送礼品等刺激消费者）
    6、对于离线的消息队列的数据，我们会存储在冷存内，协助产品分析，进而确定新品的研发
    ```

企业级后端架构的挑战

基础资源有限上

  • 物理资源是有限的（云如何解决近乎无限的弹性资源和有限的物理资源之间的矛盾？）：

    • 机器
    • 带宽

  • 资源利用率受限于部署服务

用户层面对于基础资源的使用上 -- 埋怨点

image.png

  • 网络通信开销大
  • 网络抖动导致运维成本提高
  • 异构条件下，不同资源水位不均衡（不同机器的老旧资源使用率不一致）

离在线资源并池

  • 核心收益：

    • 降低物理资源成本
    • 提供更多的弹性资源，增加收入

  • 在线业务特点

    • IO密集型为主：通过一些指标上的优化
    • 潮汐性(不同时间段，用户访问量不一致)、实时性要求高

  • 离线业务特点

    • 计算密集型占多数：一般是得通过算法进行优化
    • 非实时性：耗时多

    将离线资源和在线资源放在同一个池子里？

image.png

同一台机器离线资源和在线资源如何隔离开来？

-   通过Cgroup或者虚拟化的技术来进行隔离

自动扩缩容：

image.png

  • 利用在线业务潮汐性自动扩缩容

  • 压缩离线资源：在平常的时间点，给在线资源池设置更多的权重，而减少离线资源池的权重

    • 扩缩容依据什么指标？

      • 一般是使用cpu统计的分位数来确定
      • 如果有内存要求，可以把内存的利用率作为指标

微服务亲合性部署：

微服务之间的通信成本较高，是否可以：

  • 形态上是微服务架构

  • 通信上是单体架构 - 将多个微服务架构弄到一台宿主机上

image.png

亲合性部署，通过将微服务调用形态与资源调度系统结合，将一些调用关系紧密、通信量大的服务部署在同一个机器上，并且使用 IPC 代替 RPC 的方式，降低网络通信带来的开销

流量治理

  • 收益：

    • 提高微服务的调用容错率
    • 容灾
    • 进一步提高开发效率，DevOps发挥到极致

  • 基于微服务中间件&服务网格的流量治理

    • 熔断、重试
    • 单元化
    • 复杂环境的流量调度

Q：微服务之间的通信流量为什么需要治理？

Q：都有哪些常用的治理手段？

Q：微服务中心件和服务网格在其中扮演着怎样的角色？

CPU水位负债均衡

  • 收益：

    • 打平异构环境算力的差异
    • 为自动扩缩容提供正向输入

  • IaaS - 提供资源探针

  • 服务网格 - 提供负载均衡 ：改变负债均衡的权重

image.png

自适应静态权重：

  • 优势：
  • 缺点

后端架构实战

image.png

  • 类似问题（如何分配蛋糕店师傅）：

    • 蛋糕店师傅干活效率差距大
    • 有师傅希望能者多劳多挣多得

  • 水位均衡如何设计？

    • 需要哪些输入？

    • 设计需要考虑哪些关键点？

      • 紧急回滚能力 ：分配太多流量给小容器，挂了
      • 大规模：这种情况下如何稳定
      • 极端场景：

\

avatar
文章
阅读
粉丝