Sentinel

237 阅读14分钟

一、微服务雪崩问题

在微服务架构中,一个系统会划分出很多小的服务。这些服务需要相互调用接口来完成一个完整的业务功能。如果其中一个微服务出现故障,会导致接口调用不通,系统资源也得不到及时释放。要是不采取措施,一个微服务崩溃,可能会波及到其他微服务,甚至发生大量的微服务崩溃,这就是微服务雪崩现象。

微服务雪崩常见的解决方案

1、超时处理

设定超时时间,请求超过一定时间没有响应就返回错误信息,不会无休止等待。

例如设置超时时间为1秒钟,如果响应在1秒钟内没有返回,就释放此次请求的资源。

image.png

这个方法并不能完全解决问题。如果请求非常的频繁,在1秒钟内的请求非常多,即使超时时间设置为1秒钟,在经过一段时间后,阻塞的资源会越来越多,还是会发生微服务雪崩现象。

2、舱壁模式

限定每个业务能使用的线程数,避免耗尽整个tomcat的资源,因此也叫线程隔离。

例如一个进程有两个接口,规定每个接口只能分配10个线程处理请求,这样有再多的请求也不会进程崩溃。

image.png

3、熔断降级

断路器统计业务执行的异常比例,如果超过阈值则会熔断此业务,拦截访问此业务的一切请求。

image.png

4、流量控制

限制业务访问的QPS,避免服务因流量的突增而故障。这是一种预防微服务出现故障的方案。

image.png

服务保护技术对比

image.png

二、Sentinel快速开始

1、流量控制

1.1、簇点链路

项目内的调用链路,链路中被监控的每个接口就是一个资源。默认情况下sentinel会监控SpringMVC的每个端点(Endpoint),因此SpringMVC的每个端点(Endpoint)就是调用链路中的一个资源。
流控、熔断等都是针对簇点链路中的资源来设置的,因此我们可以点击对应资源后面的按钮来设置规则:

image.png

例如流量控制就需要点击流控按钮,点击完会出现以下界面:

image.png

  • 资源名:接口的url
  • 针对来源:表示请求的来源。默认值是default表示此规则针对所有的来源的请求
  • 阈值类型:流量控制选择QPS,指单位时间内的请求数量
  • 单机阈值:表示接口实际的QPS达到多少时会触发流量控制
  • 是否集群:单机选择不勾选

1.2、流控模式

在添加限流规则时,点击高级选项,可以选择三种流控模式:

  • 直接:统计当前资源的请求,触发阈值时对当前资源直接限流,也是默认的模式
  • 关联:统计与当前资源相关的另一个资源,触发阈值时,对当前资源限流
  • 链路:统计从指定链路访问到本资源的请求,触发阈值时,对指定链路限流

image.png

流控模式-关联:

使用场景:比如用户支付时需要修改订单状态,同时用户要查询订单。查询和修改操作会争抢数据库锁,产生竞争。业务需求是有限支付和更新订单的业务,因此当修改订单业务触发阈值时,需要对查询订单业务限流。

image.png

sentinel会统计/write接口的QPS,如果达到阈值,会对/read资源进行限流。

流控模式-链路:

假设有两条请求链路:/test1 -> /common和/test2 -> /common,如果希望统计/test2到/common的请求,并且做流控,需要做以下配置:

image.png

使用场景:假设有查询订单和创建订单业务,两者都需要查询商品。针对从查询订单进入到查询商品的请求统计,并设置限流

步骤:

  1. 在服务层OrderService类中添加一个queryGoods方法,查询商品
  2. 在控制层OrderController中,添加/order/query接口,调用OrderService中的queryGoods方法
  3. 在OrderController中,添加/order/save接口,也调用queryGoods方法
  4. 给queryGoods方法设置限流规则,从/order/query进入queryGoods方法限制QPS

注意:

  1. 给服务层的queryGoods方法设置限流规则,需要使用@SentinelResource注解
  2. 默认情况下,SpringMVC的所有端点在Sentinel看来都是同一个根簇点下的,这会导致链路模式失效。所以需要在配置文件中修改配置项: image.png

1.3、流控效果

流控效果是指请求达到流控阈值时应该采取的措施,包括三种:

  • 快速失败:达到阈值后,新的请求会被立即拒绝并抛出FlowException异常。是默认的处理方式。
  • warm up:预热模式,对超出阈值的请求同样是拒绝并抛出异常。但这种模式阈值会动态变化,从一个较小值逐渐增加到最大阈值。
  • 排队等待:让所有的请求按照先后次序排队执行,两个请求的间隔不能小于指定时长。

image.png

流控效果-warm up

warm up也叫预热模式,是应对服务冷启动的一种方案。请求阈值初始值是threshold/coldFactor,持续指定时长后,逐渐提高到threshold值。而coldFactor的默认值是3,意味着服务刚启动时,只允许1/3的请求落到服务上。

例如,设置QPS的threshold为10,预热时间为5秒。那么初始阈值就是10/3,也就是3,然后在5秒内逐渐增长到10

image.png

流控效果-排队等待

当请求超过QPS阈值时,快速失败和warm up会拒绝新的请求并抛出异常。而排队等待则是让所有请求进入一个队列中,然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成,如果请求预期的等待时间超出最大时长,则会被拒绝。

例如,QPS设置为5,意味着每200毫秒处理一个队列中的请求;timeout设置为2000,意味着预期等待超过2000毫秒的请求会被拒绝并抛出异常。

image.png

1.4、热点参数限流

之前的限流是统计访问某个资源的所有请求,判断是否超过QPS阈值。而热点参数限流是分别统计参数值相同的请求,判断是否超过QPS阈值。

image.png

例如上图所示,id值相同的请求单独统计QPS,id为1的QPS是3,id为2的QPS是1

配置示例:

image.png

代表的含义是:对hot这个资源的0号参数(第一个参数)做统计,每1秒相同参数值的请求数不能超过5

上面的示例是对hot资源的0号参数的所有值设置了相同的规则,实际情况可能是不同的值请求的需求不同,请求的需求特别高的参数值即热点参数,需要额外设置规则

在热点参数限流的高级选项中,可以对部分参数设置例外配置:

image.png

结合上一个配置,这里的含义是对0号的long类型参数限流,每1秒相同参数的QPS不能超过5,有两个例外:

  • 如果参数值是100,则每1秒允许的QPS为10
  • 如果参数值是101,则每1秒允许的QPS为15

注意:热点参数限流对默认的Spring MVC资源无效,需要在资源上加@SentinelResource注解

在控制台配置热点参数限流,不要在资源后面的热点按钮处配置,那里没有高级选项。在热点规则中配置。

image.png

image.png

2、熔断降级

虽然限流可以尽量避免因高并发而引起的服务故障,但服务还会因为其他原因而故障。要将这些故障控制在一定范围,避免雪崩,就要靠线程隔离和熔断降级手段了。
不管是线程隔离还是熔断降级,都是对客户端(调用方)的保护。

image.png

2.1、Feign整合Sentinel

SpringCloud中,微服务调用都是通过Feign来实现的,因此做客户端保护必须整合Feign和Sentinel

1.修改application.yml文件,开启Feign的Sentinel功能

image.png

2.给FeignClinet编写失败后的降级逻辑

方法一:FallbackClass,无法对远程调用的异常做处理
方法二:FallbackFactory,可以对远程调用的异常做处理(通常采用这种方式)

编写FallbackFactory示例:
假如有一个UserClient是FeignClient

步骤一:给其编写降级逻辑

image.png

定义一个类实现FallbackFactory接口,泛型是要降级的FeignClient。实现create方法,此方法需要返回FeignClient对象。在创建FeignClient对象时,要对其所有的远程调用的方法编写降级逻辑。在发生熔断时,会执行这里的降级逻辑,返回给前端。

步骤二:将实现FallbackFactory接口的类注册到Spring容器中

image.png

步骤三:在@FeignClient注解中指明fallbackFactory

image.png

2.2、线程隔离

线程隔离的方式有两种:

第一种:线程池隔离,给每个服务提供一个线程池,线程池中固定线程数。请求来了由线程池中的线程处理。

第二种:信号量隔离,给每个服务提供一个信号量(计数器),来一个请求,信号量减1,当信号量为0时,拒接其他请求。(Sentinel默认使用)

image.png

在Sentinel界面配置线程隔离,点击流控按钮,阈值类型选择线程数即可

image.png

线程数代表此资源能使用的tomcat线程数的最大值。

2.3、熔断降级

熔断降级是由断路器统计服务调用的异常比例、慢请求比例,如果超出阈值则会熔断该服务。即拦截访问该服务的一切请求;而当服务恢复时,断路器会放行访问该服务的请求。

image.png

熔断有三个状态:Closed、Open和Half-Open。服务正常的时候,熔断是Closed状态,所有请求都可以访问服务。当异常请求或者慢请求比例达到阈值时,熔断变成Open状态,拒绝一切请求访问服务。Open状态会持续一段时间(这段时间由我们配置),时间过后,熔断变成Half-Open状态,断路器会尝试放行一次请求,观察服务是否正常,如果正常,熔断变成Closed状态;如果不正常,熔断变成Open状态,继续持续一段时间。

熔断策略

断路器熔断策略有三种:慢调用、异常比例、异常数

熔断策略-慢调用

慢调用:业务的响应时间(RT)大于指定时长的请求认定为慢调用请求。在指定时间内,如果请求数量超过设定的最小数量,慢调用比例大于设定的阈值,则触发熔断。

image.png

上图配置,RT超过500ms的调用是慢调用,统计最近10000ms内的请求,如果请求量超过10次,并且慢调用比例不低于0.5,则触发熔断,熔断时长为5秒。5秒后进入half-open状态,放行一次请求做测试。

熔断策略-异常比例

异常比例:统计指定时间内的调用,如果调用次数超过指定请求数,并且出现异常比例达到设定的比例阈值,则触发熔断。

image.png

上图配置,统计最近1000ms内的请求,如果请求量超过10次,并且异常比例不低于0.5,则触发熔断,熔断时长为5秒。5秒后进入half-open状态,放行一次请求做测试。

熔断策略-异常数

异常数:统计指定时间内的调用,如果调用次数超过指定请求数,并且出现异常的请求次数达到设定的阈值,则触发熔断。

image.png

上图配置,统计最近1000ms内的请求,如果请求量超过10次,并且异常次数不低于2,则触发熔断,熔断时长为5秒。5秒后进入half-open状态,放行一次请求做测试。

3、授权规则

授权规则可以对调用方的来源做控制,有白名单和黑名单两种方式。

  • 白名单:来源在白名单内的调用者允许访问
  • 黑名单:来源在黑名单内的调用者不允许访问

image.png

例如,限定只允许从springcloud gateway网关来的请求访问order-service服务的接口,那么资源名中应该填接口的资源名称,流控应用中应该填parseOrigin方法中指定的来源。

Sentinel是通过RequestOriginParser接口的parseOrigin来获取请求的来源的。

image.png

例如,我们尝试从request中获取一个名为origin的请求头的值,将这个值作为授权规则中的流控应用。假设流控应用里填写gateway,那么只有请求头中的origin字段的值是gateway的请求,才能访问资源。

image.png

我们还需要在gateway网关服务中,利用网关的过滤器添加名为gateway的origin头:

image.png

给/order/{orderId}配置授权规则:

image.png

4、自定义异常

在未自定义异常处理逻辑时,Sentinel会默认将流控、熔断、授权过程中产生的异常统统当做流控异常反馈给前端,这显然会在定位问题时造成干扰。所以,我们需要自定义异常处理逻辑,方便快速定位未来出现的问题。

Sentinel将异常分为以下几种:

image.png

这些异常有相同的一个父类BlockException。Sentinel提供了一个接口BlockExceptionHandler,实现这个接口的handle方法就可以对上述异常做处理。

示例说明:

image.png

5、规则持久化

Sentinel提供了三种规则持久化的方式

  • 原始模式:规则存在内存中,重启Sentinel后需要重新配置
  • Pull模式:规则存在内存和数据库中,如果Sentinel集群部署,每个节点定时访问数据库以防规则变化没有及时同步
  • Push模式:规则存在nacos、zookeeper等组件中

一般采用的是Push模式,我们以nacos举例,步骤稍显复杂,涉及到修改Sentinel源码

5.1、Push模式

引入依赖

在业务代码中引入依赖,并且添加配置

image.png

image.png

配置项说明

  • server-addr:nacos的地址
  • dataId:业务进程的Sentinel配置文件名称
  • groupId:业务进程的Sentinel配置文件所属的组Id
  • rule-type:规则类型,flow-流量控制,degrade-熔断降级,authority-授权,;param-flow-热点参数限流

修改sentinel-dashboard代码

下载Sentinel源码后解压(可以下载1.8.1版本)

image.png

修改sentinel-dashboard模块的pom文件,删除sentinel-datasource-nacos依赖的scope标签

image.png

在sentinel-dashboard的test包下有个nacos文件夹,已经编写了对nacos的支持,需要将其复制到main路径下的rule文件夹下

image.png

修改nacos文件夹中的NacosConfigs类,使其支持从application.properties文件中读取nacos的地址

image.png

在application.properties文件中添加nacos的地址

image.png

然后需要修改com.alibaba.csp.sentinel.dashboard.controller.v2包下的FlowControllerV2类,将flowRuleDefaultProvider和flowRuleDefaultPublisher改成flowRuleNacosProvider和flowRuleNacosPublisher

image.png

最后需要修改Sentinel控制台的前端页面文件,增加一个支持nacos的菜单。具体修改src/main/webapp/resources/app/scripts/directives/sidebar目录下的sidebar.html文件,将以下部分的注释打开

image.png

将其修改成以下内容

image.png

然后将sentinel-dashboard打包,放到运行环境中运行即可

到sentinel-dashboard运行起来后,到sentinel控制台上看,会多出来一个nacos的配置菜单

image.png

注意:只有在这个菜单中添加的规则才会存储到nacos中。如果想要降级规则、热点规则、授权规则等都存储到nacos中,还需要添加对应的菜单,在菜单中配置。