Sentinel

具有以下特征:

丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如：秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。
完备的实时监控：Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据，甚至 500 台以下规模的集群的汇总运行情况。
广泛的开源生态：Sentinel 提供开箱即用的与其它开源框架/库的整合模块，例如：与 Spring Cloud、Dubbo、gRPC 的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。
完善的 SPI 扩展点：Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

Sentinel 官方提供了UI 控制台、官网地址

启动命令：

    java -jar sentinel-dashboard-1.8.1.jar

localhost:8080 即可看到控制台页面，默认的账户和密码都是 sentinel。

雪崩问题及解决方案

微服务调用链路中的某个服务故障，引起整个链路中的所有微服务都不可用，这就是雪崩。解决雪崩问题的常见方式有四种：

超时处理：设定超时时间，请求超过一定时间没有响应就返回错误信息，不会无休止等待。

图片.png

舱壁模式：限定每个业务能使用的线程数，避免耗尽整个 tomcat 的资源，因此也叫线程隔离。

熔断降级：由断路器统计业务执行的异常比例，如果超出阈值则会熔断该业务，拦截访问该业务的一切请求。

图片.png

流量控制：限制业务访问的 QPS，避免服务因流量的突增而故障。（QPS:每秒钟请求的数量）

图片.png

服务保护技术对比

Hystrix 已经停止维护。
Sentinel 阿里提供。

图片.png

微服务整合 Sentinel

在服务中引入依赖

<!--引入sentinel依赖-->
<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

修改配置

spring:
  cloud:
    sentinel:
      transport:
        dashboard: localhost:8080 # sentinel控制台地址

流量控制

簇点链路

簇点链路：就是项目内的调用链路，链路中被监控的每个接口就是一个资源。
默认情况下 sentinel 会监控 SpringMVC 的每一个端点（Endpoint（可以理解成 Controller）），因此 SpringMVC 的每一个端点（Endpoint）就是调用链路中的一个资源。
流控、熔断等都是针对簇点链路中的资源来设置的，因此我们可以点击对应资源后面的按钮来设置规则：

图片.png

点击资源/order/{orderId} 后面的流控按钮，就可以弹出表单。表单中可以添加流控规则。

图片.png

其含义是限制 /order/{orderId} 这个资源的单机 QPS 为1，即每秒只允许1次请求，超出的请求会被拦截并报错。

流控模式

在添加限流规则时，点击高级选项，可以选择三种流控模式：

直接：统计当前资源的请求，触发阈值时对当前资源直接限流，也是默认的模式。
关联：统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流 (A、B 两个资源，A 触发阈值，对 B 进行限流)。
链路：统计从指定链路访问到本资源的请求，触发阈值时，对指定链路限流（A、B、C 三个资源，A、B 都要访问资源 C，可以对 A 进行限流）。

图片.png

流控模式-关联

关联模式：统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流。
使用场景：用户支付时需要修改订单状态，同时用户要查询订单。查询和修改操作会争抢数据库锁，产生竞争。业务需求是有限支付和更新订单的业务，因此当修改订单业务触发阈值时，需要对查询订单业务限流。

图片.png

当/write资源访问量触发阈值时，就会对/read资源限流，避免影响/write资源。

流控模式-链路

链路模式：只针对从指定链路访问到本资源的请求做统计，判断是否超过阈值。
例如有两条请求链路：

/test1 -> /common
/test2 -> /common

如果只希望统计从/test2进入到/common的请求，则可以这样配置：

图片.png

在 OrderService 中添加一个 queryGoods 方法，不用实现业务。
在 OrderController 中，改造/order/query端点，调用 OrderService 中的queryGoods 方法。
在 OrderController 中添加一个/order/save的端点，调用 OrderService 的 queryGoods 方法。
给 queryGoods 设置限流规则，从/order/query进入 queryGoods 的方法限制 QPS 必须小于2

@GetMapping("/query")
public String queryOrder() {
    // 查询商品
    orderService.queryGoods();
    // 查询订单
    System.err.println("查询订单");
    return "查询订单成功";
}

@GetMapping("/save")
public String saveOrder() {
    // 查询商品
    orderService.queryGoods();
    // 查询订单
    System.err.println("新增订单");
    return "新增订单成功";
}

Sentinel 默认只标记Controller中的方法为资源，如果要标记其它方法，需要利用@SentinelResource注解。

@SentinelResource("goods")
public void queryGoods(){
    System.err.println("查询商品");
}

Sentinel默认会将 Controller 方法做 context 整合，导致链路模式的流控失效，需要修改application.yml，添加配置：

spring:
  cloud:
    nacos:
      server-addr: localhost:8848 # nacos服务地址
    sentinel:
      transport:
        dashboard: localhost:8080 # sentinel控制台地址
      web-context-unify: false # 关闭context整合

流控效果

流控效果是指请求达到流控阈值时应该采取的措施，包括三种：

快速失败：达到阈值后，新的请求会被立即拒绝并抛出 FlowException 异常。是默认的处理方式。
warm up：预热模式，对超出阈值的请求同样是拒绝并抛出异常。但这种模式阈值会动态变化，从一个较小值逐渐增加到最大阈值。
排队等待：让所有的请求按照先后次序排队执行，两个请求的间隔不能小于指定时长

图片.png

流控效果-warm up

warm up 也叫预热模式，是应对服务冷启动的一种方案。请求阈值初始值是 threshold / coldFactor，持续指定时长后，逐渐提高到threshold值。而coldFactor的默认值是3。

例如：我设置QPS的threshold为 10，预热时间为 5 秒，那么初始阈值就是 10 / 3 ，也就是3，然后在 5 秒后逐渐增长到 10。

图片.png

流控效果-排队等待

当请求超过 QPS 阈值时，快速失败和warm up会拒绝新的请求并抛出异常。而排队等待则是让所有请求进入一个队列中，然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成，如果请求预期的等待时间超出最大时长，则会被拒绝。
例如：QPS = 5，意味着每 200ms 处理一个队列中的请求；timeout = 2000，意味着预期等待超过2000ms 的请求会被拒绝并抛出异常。

图片.png

热点参数限流

之前的限流是统计访问某个资源的所有请求，判断是否超过 QPS 阈值。而热点参数限流是分别统计参数值相同的请求，判断是否超过 QPS 阈值。

图片.png

配置示例：

图片.png

代表的含义是：
对 hot 这个资源的 0 号参数（第一个参数）做统计，每 1 秒相同参数值的请求数不能超过 5。
在热点参数限流的高级选项中，可以对部分参数设置例外配置：

图片.png

结合上一个配置，这里的含义是对 0 号的 long 类型参数限流，每 1 秒相同参数的 QPS 不能超过 5，有两个例外：

如果参数值是 100，则每1秒允许的 QPS 为 10。
如果参数值是 101，则每1秒允许的 QPS 为 15。

热点参数限流对默认的SpringMVC资源无效需要添加。

@SentinelResource("hot")

隔离和降级

虽然限流可以尽量避免因高并发而引起的服务故障，但服务还会因为其它原因而故障。
而要将这些故障控制在一定范围，避免雪崩，就要靠线程隔离（舱壁模式）和熔断降级手段。
不管是线程隔离还是熔断降级，都是对客户端（调用方）的保护。

图片.png

FeignClient 整合 Sentinel

SpringCloud 中，微服务调用都是通过Feign来实现的，因此做客户端保护必须整合Feign和Sentinel。

修改OrderService的application.yml文件，开启Feign的Sentinel功能

feign:
  httpclient:
    enabled: true # 支持HttpClient的开关
    max-connections: 200 # 最大连接数
    max-connections-per-route: 50 # 单个路径的最大连接数
  sentinel:
    enabled: true # 开启feign对sentinel的支持

给 FeignClient 编写失败后的降级逻辑

public class UserClientFallbackFactory implements FallbackFactory<UserClient> {
   @Override
   public UserClient create(Throwable throwable) {
       return new UserClient() {
           @Override
           public User findById(Long id) {
               log.error("查询用户异常", throwable);
               return new User();
           }
       };
   }
}

@Bean
public UserClientFallbackFactory userClientFallbackFactory(){
    return new UserClientFallbackFactory();
}

@FeignClient(value = "userservice", fallbackFactory = UserClientFallbackFactory.class)
public interface UserClient {

    @GetMapping("/user/{id}")
    User findById(@PathVariable("id") Long id);
}

线程隔离（舱壁模式）

线程隔离有两种方式实现：

线程池隔离
信号量隔离（Sentinel 默认采用）

图片.png

线程池隔离

优点：支持主动超时，支持异步调用。
缺点：线程的额外开销比较大。

信号量隔离

优点：轻量级，无额外开销。
缺点：不支持主动超时，不支持异步调用。

熔断降级

熔断降级是解决雪崩问题的重要手段。其思路是由断路器统计服务调用的异常比例、慢请求比例，如果超出阈值则会熔断该服务。即拦截访问该服务的一切请求；而当服务恢复时，断路器会放行访问该服务的请求。

图片.png

断路器熔断策略有三种：慢调用、异常比例、异常数。

熔断策略-慢调用

慢调用：业务的响应时长（RT）大于指定时长的请求认定为慢调用请求。在指定时间内，如果请求数量超过设定的最小数量，慢调用比例大于设定的阈值，则触发熔断。

图片.png

RT 超过 500ms 的调用是慢调用，统计最近 10000ms 内的请求，如果请求量超过 10 次，并且慢调用比例不低于 0.5，则触发熔断，熔断时长为 5 秒。然后进入half-open状态，放行一次请求做测试。

熔断策略-异常比例、异常数

异常比例或异常数：统计指定时间内的调用，如果调用次数超过指定请求数，并且出现异常的比例达到设定的比例阈值（或超过指定异常数），则触发熔断。

图片.png

统计最近 1000ms 内的请求，如果请求量超过 10 次，并且异常比例不低于 0.5，则触发熔断，熔断时长为 5 秒。然后进入half-open状态，放行一次请求做测试。

授权规则

授权规则可以对调用方的来源做控制，有白名单和黑名单两种方式。

白名单：来源（origin）在白名单内的调用者允许访问
黑名单：来源（origin）在黑名单内的调用者不允许访问

图片.png

限定只允许从网关来的请求访问order-service，那么流控应用中就填写网关的名称。

图片.png

Sentinel 是通过RequestOriginParser这个接口的parseOrigin来获取请求的来源的。

@Component
public class HeaderOriginParser implements RequestOriginParser {
    @Override
    public String parseOrigin(HttpServletRequest request) {
        // 1.获取请求头
        String origin = request.getHeader("origin");
        // 2.非空判断
        if (StringUtils.isEmpty(origin)) {
            origin = "blank";
        }
        return origin;
    }
}

spring:
  cloud:
    gateway:
      default-filters:
        - AddRequestHeader=origin,gateway

图片.png

自定义异常结果

实现BlockExceptionHandler接口。

@Component
public class SentinelExceptionHandler implements BlockExceptionHandler {
    @Override
    public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception {
        String msg = "未知异常";
        int status = 429;

        if (e instanceof FlowException) {
            msg = "请求被限流了";
        } else if (e instanceof ParamFlowException) {
            msg = "请求被热点参数限流";
        } else if (e instanceof DegradeException) {
            msg = "请求被降级了";
        } else if (e instanceof AuthorityException) {
            msg = "没有权限访问";
            status = 401;
        }

        response.setContentType("application/json;charset=utf-8");
        response.setStatus(status);
        response.getWriter().println("{"msg": " + msg + ", "status": " + status + "}");
    }
}

BlockException包含很多个子类，分别对应不同的场景。

图片.png

微服务守护者：Sentinel 的魔法

Sentinel

雪崩问题及解决方案

服务保护技术对比

微服务整合 Sentinel

流量控制

簇点链路

流控模式

流控模式-关联

流控模式-链路

流控效果

流控效果-warm up

流控效果-排队等待

热点参数限流

隔离和降级

FeignClient 整合 Sentinel

线程隔离（舱壁模式）

线程池隔离

信号量隔离

熔断降级

熔断策略-慢调用

熔断策略-异常比例、异常数

授权规则

自定义异常结果