一、微服务雪崩问题
在微服务架构中,一个系统会划分出很多小的服务。这些服务需要相互调用接口来完成一个完整的业务功能。如果其中一个微服务出现故障,会导致接口调用不通,系统资源也得不到及时释放。要是不采取措施,一个微服务崩溃,可能会波及到其他微服务,甚至发生大量的微服务崩溃,这就是微服务雪崩现象。
微服务雪崩常见的解决方案
1、超时处理
设定超时时间,请求超过一定时间没有响应就返回错误信息,不会无休止等待。
例如设置超时时间为1秒钟,如果响应在1秒钟内没有返回,就释放此次请求的资源。
这个方法并不能完全解决问题。如果请求非常的频繁,在1秒钟内的请求非常多,即使超时时间设置为1秒钟,在经过一段时间后,阻塞的资源会越来越多,还是会发生微服务雪崩现象。
2、舱壁模式
限定每个业务能使用的线程数,避免耗尽整个tomcat的资源,因此也叫线程隔离。
例如一个进程有两个接口,规定每个接口只能分配10个线程处理请求,这样有再多的请求也不会进程崩溃。
3、熔断降级
由断路器统计业务执行的异常比例,如果超过阈值则会熔断此业务,拦截访问此业务的一切请求。
4、流量控制
限制业务访问的QPS,避免服务因流量的突增而故障。这是一种预防微服务出现故障的方案。
服务保护技术对比
二、Sentinel快速开始
1、流量控制
1.1、簇点链路
项目内的调用链路,链路中被监控的每个接口就是一个资源。默认情况下sentinel会监控SpringMVC的每个端点(Endpoint),因此SpringMVC的每个端点(Endpoint)就是调用链路中的一个资源。
流控、熔断等都是针对簇点链路中的资源来设置的,因此我们可以点击对应资源后面的按钮来设置规则:
例如流量控制就需要点击流控按钮,点击完会出现以下界面:
- 资源名:接口的url
- 针对来源:表示请求的来源。默认值是default表示此规则针对所有的来源的请求
- 阈值类型:流量控制选择QPS,指单位时间内的请求数量
- 单机阈值:表示接口实际的QPS达到多少时会触发流量控制
- 是否集群:单机选择不勾选
1.2、流控模式
在添加限流规则时,点击高级选项,可以选择三种流控模式:
- 直接:统计当前资源的请求,触发阈值时对当前资源直接限流,也是默认的模式
- 关联:统计与当前资源相关的另一个资源,触发阈值时,对当前资源限流
- 链路:统计从指定链路访问到本资源的请求,触发阈值时,对指定链路限流
流控模式-关联:
使用场景:比如用户支付时需要修改订单状态,同时用户要查询订单。查询和修改操作会争抢数据库锁,产生竞争。业务需求是有限支付和更新订单的业务,因此当修改订单业务触发阈值时,需要对查询订单业务限流。
sentinel会统计/write接口的QPS,如果达到阈值,会对/read资源进行限流。
流控模式-链路:
假设有两条请求链路:/test1 -> /common和/test2 -> /common,如果希望统计/test2到/common的请求,并且做流控,需要做以下配置:
使用场景:假设有查询订单和创建订单业务,两者都需要查询商品。针对从查询订单进入到查询商品的请求统计,并设置限流
步骤:
- 在服务层OrderService类中添加一个queryGoods方法,查询商品
- 在控制层OrderController中,添加/order/query接口,调用OrderService中的queryGoods方法
- 在OrderController中,添加/order/save接口,也调用queryGoods方法
- 给queryGoods方法设置限流规则,从/order/query进入queryGoods方法限制QPS
注意:
- 给服务层的queryGoods方法设置限流规则,需要使用@SentinelResource注解
- 默认情况下,SpringMVC的所有端点在Sentinel看来都是同一个根簇点下的,这会导致链路模式失效。所以需要在配置文件中修改配置项:
1.3、流控效果
流控效果是指请求达到流控阈值时应该采取的措施,包括三种:
- 快速失败:达到阈值后,新的请求会被立即拒绝并抛出FlowException异常。是默认的处理方式。
- warm up:预热模式,对超出阈值的请求同样是拒绝并抛出异常。但这种模式阈值会动态变化,从一个较小值逐渐增加到最大阈值。
- 排队等待:让所有的请求按照先后次序排队执行,两个请求的间隔不能小于指定时长。
流控效果-warm up
warm up也叫预热模式,是应对服务冷启动的一种方案。请求阈值初始值是threshold/coldFactor,持续指定时长后,逐渐提高到threshold值。而coldFactor的默认值是3,意味着服务刚启动时,只允许1/3的请求落到服务上。
例如,设置QPS的threshold为10,预热时间为5秒。那么初始阈值就是10/3,也就是3,然后在5秒内逐渐增长到10
流控效果-排队等待
当请求超过QPS阈值时,快速失败和warm up会拒绝新的请求并抛出异常。而排队等待则是让所有请求进入一个队列中,然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成,如果请求预期的等待时间超出最大时长,则会被拒绝。
例如,QPS设置为5,意味着每200毫秒处理一个队列中的请求;timeout设置为2000,意味着预期等待超过2000毫秒的请求会被拒绝并抛出异常。
1.4、热点参数限流
之前的限流是统计访问某个资源的所有请求,判断是否超过QPS阈值。而热点参数限流是分别统计参数值相同的请求,判断是否超过QPS阈值。
例如上图所示,id值相同的请求单独统计QPS,id为1的QPS是3,id为2的QPS是1
配置示例:
代表的含义是:对hot这个资源的0号参数(第一个参数)做统计,每1秒相同参数值的请求数不能超过5
上面的示例是对hot资源的0号参数的所有值设置了相同的规则,实际情况可能是不同的值请求的需求不同,请求的需求特别高的参数值即热点参数,需要额外设置规则
在热点参数限流的高级选项中,可以对部分参数设置例外配置:
结合上一个配置,这里的含义是对0号的long类型参数限流,每1秒相同参数的QPS不能超过5,有两个例外:
- 如果参数值是100,则每1秒允许的QPS为10
- 如果参数值是101,则每1秒允许的QPS为15
注意:热点参数限流对默认的Spring MVC资源无效,需要在资源上加@SentinelResource注解
在控制台配置热点参数限流,不要在资源后面的热点按钮处配置,那里没有高级选项。在热点规则中配置。
2、熔断降级
虽然限流可以尽量避免因高并发而引起的服务故障,但服务还会因为其他原因而故障。要将这些故障控制在一定范围,避免雪崩,就要靠线程隔离和熔断降级手段了。
不管是线程隔离还是熔断降级,都是对客户端(调用方)的保护。
2.1、Feign整合Sentinel
SpringCloud中,微服务调用都是通过Feign来实现的,因此做客户端保护必须整合Feign和Sentinel
1.修改application.yml文件,开启Feign的Sentinel功能
2.给FeignClinet编写失败后的降级逻辑
方法一:FallbackClass,无法对远程调用的异常做处理
方法二:FallbackFactory,可以对远程调用的异常做处理(通常采用这种方式)
编写FallbackFactory示例:
假如有一个UserClient是FeignClient
步骤一:给其编写降级逻辑
定义一个类实现FallbackFactory接口,泛型是要降级的FeignClient。实现create方法,此方法需要返回FeignClient对象。在创建FeignClient对象时,要对其所有的远程调用的方法编写降级逻辑。在发生熔断时,会执行这里的降级逻辑,返回给前端。
步骤二:将实现FallbackFactory接口的类注册到Spring容器中
步骤三:在@FeignClient注解中指明fallbackFactory
2.2、线程隔离
线程隔离的方式有两种:
第一种:线程池隔离,给每个服务提供一个线程池,线程池中固定线程数。请求来了由线程池中的线程处理。
第二种:信号量隔离,给每个服务提供一个信号量(计数器),来一个请求,信号量减1,当信号量为0时,拒接其他请求。(Sentinel默认使用)
在Sentinel界面配置线程隔离,点击流控按钮,阈值类型选择线程数即可
线程数代表此资源能使用的tomcat线程数的最大值。
2.3、熔断降级
熔断降级是由断路器统计服务调用的异常比例、慢请求比例,如果超出阈值则会熔断该服务。即拦截访问该服务的一切请求;而当服务恢复时,断路器会放行访问该服务的请求。
熔断有三个状态:Closed、Open和Half-Open。服务正常的时候,熔断是Closed状态,所有请求都可以访问服务。当异常请求或者慢请求比例达到阈值时,熔断变成Open状态,拒绝一切请求访问服务。Open状态会持续一段时间(这段时间由我们配置),时间过后,熔断变成Half-Open状态,断路器会尝试放行一次请求,观察服务是否正常,如果正常,熔断变成Closed状态;如果不正常,熔断变成Open状态,继续持续一段时间。
熔断策略
断路器熔断策略有三种:慢调用、异常比例、异常数
熔断策略-慢调用
慢调用:业务的响应时间(RT)大于指定时长的请求认定为慢调用请求。在指定时间内,如果请求数量超过设定的最小数量,慢调用比例大于设定的阈值,则触发熔断。
上图配置,RT超过500ms的调用是慢调用,统计最近10000ms内的请求,如果请求量超过10次,并且慢调用比例不低于0.5,则触发熔断,熔断时长为5秒。5秒后进入half-open状态,放行一次请求做测试。
熔断策略-异常比例
异常比例:统计指定时间内的调用,如果调用次数超过指定请求数,并且出现异常比例达到设定的比例阈值,则触发熔断。
上图配置,统计最近1000ms内的请求,如果请求量超过10次,并且异常比例不低于0.5,则触发熔断,熔断时长为5秒。5秒后进入half-open状态,放行一次请求做测试。
熔断策略-异常数
异常数:统计指定时间内的调用,如果调用次数超过指定请求数,并且出现异常的请求次数达到设定的阈值,则触发熔断。
上图配置,统计最近1000ms内的请求,如果请求量超过10次,并且异常次数不低于2,则触发熔断,熔断时长为5秒。5秒后进入half-open状态,放行一次请求做测试。
3、授权规则
授权规则可以对调用方的来源做控制,有白名单和黑名单两种方式。
- 白名单:来源在白名单内的调用者允许访问
- 黑名单:来源在黑名单内的调用者不允许访问
例如,限定只允许从springcloud gateway网关来的请求访问order-service服务的接口,那么资源名中应该填接口的资源名称,流控应用中应该填parseOrigin方法中指定的来源。
Sentinel是通过RequestOriginParser接口的parseOrigin来获取请求的来源的。
例如,我们尝试从request中获取一个名为origin的请求头的值,将这个值作为授权规则中的流控应用。假设流控应用里填写gateway,那么只有请求头中的origin字段的值是gateway的请求,才能访问资源。
我们还需要在gateway网关服务中,利用网关的过滤器添加名为gateway的origin头:
给/order/{orderId}配置授权规则:
4、自定义异常
在未自定义异常处理逻辑时,Sentinel会默认将流控、熔断、授权过程中产生的异常统统当做流控异常反馈给前端,这显然会在定位问题时造成干扰。所以,我们需要自定义异常处理逻辑,方便快速定位未来出现的问题。
Sentinel将异常分为以下几种:
这些异常有相同的一个父类BlockException。Sentinel提供了一个接口BlockExceptionHandler,实现这个接口的handle方法就可以对上述异常做处理。
示例说明:
5、规则持久化
Sentinel提供了三种规则持久化的方式
- 原始模式:规则存在内存中,重启Sentinel后需要重新配置
- Pull模式:规则存在内存和数据库中,如果Sentinel集群部署,每个节点定时访问数据库以防规则变化没有及时同步
- Push模式:规则存在nacos、zookeeper等组件中
一般采用的是Push模式,我们以nacos举例,步骤稍显复杂,涉及到修改Sentinel源码
5.1、Push模式
引入依赖
在业务代码中引入依赖,并且添加配置
配置项说明
- server-addr:nacos的地址
- dataId:业务进程的Sentinel配置文件名称
- groupId:业务进程的Sentinel配置文件所属的组Id
- rule-type:规则类型,flow-流量控制,degrade-熔断降级,authority-授权,;param-flow-热点参数限流
修改sentinel-dashboard代码
下载Sentinel源码后解压(可以下载1.8.1版本)
修改sentinel-dashboard模块的pom文件,删除sentinel-datasource-nacos依赖的scope标签
在sentinel-dashboard的test包下有个nacos文件夹,已经编写了对nacos的支持,需要将其复制到main路径下的rule文件夹下
修改nacos文件夹中的NacosConfigs类,使其支持从application.properties文件中读取nacos的地址
在application.properties文件中添加nacos的地址
然后需要修改com.alibaba.csp.sentinel.dashboard.controller.v2包下的FlowControllerV2类,将flowRuleDefaultProvider和flowRuleDefaultPublisher改成flowRuleNacosProvider和flowRuleNacosPublisher
最后需要修改Sentinel控制台的前端页面文件,增加一个支持nacos的菜单。具体修改src/main/webapp/resources/app/scripts/directives/sidebar目录下的sidebar.html文件,将以下部分的注释打开
将其修改成以下内容
然后将sentinel-dashboard打包,放到运行环境中运行即可
到sentinel-dashboard运行起来后,到sentinel控制台上看,会多出来一个nacos的配置菜单
注意:只有在这个菜单中添加的规则才会存储到nacos中。如果想要降级规则、热点规则、授权规则等都存储到nacos中,还需要添加对应的菜单,在菜单中配置。