09 微服务框架 丨 青训营笔记

76 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 9 天

微服务

系统架构的演进历史

  • 单体架构:一个进程
  • 垂直应用架构:按照业务线垂直划分
  • 分布式架构:抽出与业务无关的公共模块
  • SOA架构:面向服务
  • 微服务架构:彻底的服务化

微服务架构概览

  • 网关
  • 服务配置和治理
  • 链路追踪和监控

微服务架构的三大要素

  • 服务治理:

    • 服务注册
    • 服务发现
    • 负载均衡
    • 扩缩容
    • 流量治理
    • 稳定性治理
  • 可观测性:

    • 日志采集
    • 日志分析
    • 监控打点
    • 监控大盘
    • 异常报警
    • 链路追踪
  • 安全:

    • 身份验证
    • 认证授权
    • 访问令牌
    • 审计
    • 传输加密
    • 黑产攻击

微服务架构中的基本概念及组件

  • 服务

    • 一组具有相同逻辑的运行实体
  • 实例

    • 一个服务中的每个运行实体
  • 实例与进程的关系

    • 没有必然对应关系,一般一对一或者一对多
  • 常见的实例承载形式

    • 进程、VM、k8s pod......

服务间通信

  • 微服务之间通过网络进行通信
  • 常见的通信协议包括 HTTP、RPC

服务注册及服务发现

  • 基本问题

    • 服务间调用中,如何指定下游服务实例的地址?
  • 简单方案

    • 直接指定 ip:port?

      • 没有任何动态能力
      • 有多个实例下游实例怎么办?
    • 使用 DNS?

      • 本地 DNS 存在缓存,导致延迟
      • DNS 没有负载均衡
      • 不支持服务探活检查
      • DNS 不能指定端口
  • 服务注册发现

    • 新增一个统一的服务注册中心,用于存储服务名到服务实例之间的映射关系
    • 旧服务实例下线前,从服务注册中心删除该实例,下线流量
    • 新服务实例上线后,在服务注册中心注册该实例,上线流量
  • 微服务流量特征

    • 统一网关入口
    • 外网通信多数采用 HTTP,内网通信多数采用 RPC(Thrift, gRPC)

服务发布的难点

  1. 服务不可用→比较严重,不可以接受
  2. 服务抖动→短暂不可用
  3. 服务回滚

如何解决?

  • 蓝绿部署

    • 开启两个集群,每个集群有相同的实例
    • 优点:简单,稳定
    • 缺点:需要两倍资源
  • 蓝绿部署(Blue-Green Deployment)是一种用于减少将新软件更改引入生产环境风险的技术。它涉及运行两个完全相同的生产环境,一个称为“蓝色”,另一个称为“绿色”。蓝色环境是现有的生产环境,而绿色环境是软件的新版本。当绿色环境准备就绪时,将流量路由到它并进行测试。如果绿色环境通过测试,则保持流量在绿色环境上。如果测试失败,则将流量路由回蓝色环境。

  • 灰度发布(金丝雀发布)是一种重要的软件开发技术,它可以帮助开发者将应用程序更快地部署到生产环境中。它的优势在于,它可以帮助开发者将软件发布到少量的用户中,从而收集反馈,并在基础设施上进行测试,从而避免发布后的崩溃和故障。灰度发布还可以帮助开发者更轻松地实现功能迭代,可以更好地实现A/B测试,以便更好地了解用户的偏好,并根据需要调整应用程序。因此,灰度发布是软件开发项目中一个必不可少的环节,可以帮助开发者及时发现问题并快速解决,从而提升产品质量,提高用户体验。

微服务治理

  • 流量治理

    • 在微服务架构下,可以基于地区、集群、实例、请求等为维度,对端到端流量的路由路径进行治理
  • 负载均衡

    • 负责分配请求在每个下游实例上的分布

    • 常见LB策略:

      常见LB策略包括轮询、最小连接数、加权轮询、加权最小连接数、一致性哈希、基于响应时间的加权轮询等。

  • 稳定性治理

    • 线上服务总是会出问题,与程序的正确性无关,如网络攻击、机房空调损坏等

    • 治理方式:

      • 限流:如5000qps请求拒绝4000qps
      • 熔断:服务器有熔断器,拒绝下游流量,同时间断一定时间重连
      • 过载保护:如CPU 99%时,直接拒绝一部分或全部的流量
      • 降级:高等级服务做处理,低等级服务拒绝掉

字节跳动服务治理实践

  • 请求重试的意义

    • 本地函数调用

      • 通常没有重试意义
    • 远程函数调用

      • 网络抖动、下游负载高、下游机器宕机......
      • 重试是有意义的,可以避免偶发性的错误,提高 SLA
    • 重试的意义

      • 降低错误率
      • 降低长尾延时
      • 容忍暂时性错误
      • 避开下游故障实例
  • 请求重试的难点

    • 幂等性

      • POST 请求可以重试吗?
    • 重试风暴

      • 随着调用链路的增加,重试次数呈指数级上升
    • 超时设置

      • 假设调用时间一共1s,经过多少时间开始重试?
  • 重试策略

    • 限制重试比例

      • 设定一个重试比例阈值(例如 1%),重试次数占所有请求比例不超过该阈值
    • 防止链路重试

      • 返回特殊的 status code,表示“请求失败,但别重试”
    • Hedged Requests

      • 对于可能超时(或延时高)的请求,重新向另一个下游实例发送一个相同的请求,并等待先到达的响应
  • 重试效果验证

    • 字节跳动重试组件能够极大限制重试发生的链路放大效应