微服务中Ribbon的负载均衡策略，如何修改其默认策略，以及自己创建负载均衡策略

Jony_zhang
813 阅读11分钟

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第26天，点击查看活动详情

一、什么是Ribbon

目前主流的负载方案分为以下两种：

  • 集中式负载均衡，在消费者和服务提供方中间使用独立的代理方式进行负载，有硬件的（比如 F5），也有软件的（比如 Nginx）。硬件来说，性能会更高，但是成本也就高了，一般来说使用软件来进行实现。
  • 客户端根据自己的请求情况做负载均衡，Ribbon 就属于客户端自己做负载均衡。

Spring Cloud Ribbon是基于Netflix Ribbon 实现的一套客户端的负载均衡工具，Ribbon客户端组件提供一系列的完善的配置，如超时，重试等。通过Load Balancer获取到服务提供的所有机器实例，Ribbon会自动基于某种规则(轮询，随机)去调用这些服务。Ribbon也可以实现我们自己的负载均衡算法。

1-1、客户端的负载均衡

例如spring cloud中的ribbon，客户端会有一个服务器地址列表，在发送请求前通过负载均衡算法选择一个服务器，然后进行访问，这是客户端负载均衡；即在客户端就进行负载均衡算法分配。

image.png

1-2、服务端的负载均衡

例如Nginx，通过Nginx进行负载均衡，先发送请求，然后通过负载均衡算法，在多个服务器之间选择一个进行访问；即在服务器端再进行负载均衡算法分配

image.png

1-3、常见负载均衡算法

  • 随机，通过随机选择服务进行执行，一般这种方式使用较少;
  • 轮训，负载均衡默认实现方式，请求来之后排队处理;
  • 加权轮训，通过对服务器性能的分型，给高配置，低负载的服务器分配更高的权重，均衡各个服务器的压力;
  • 地址Hash，通过客户端请求的地址的HASH值取模映射进行服务器调度。 ip --->hash
  • 最小链接数，即使请求均衡了，压力不一定会均衡，最小连接数法就是根据服务器的情况，比如请求积压数等参数，将请求分配到当前压力最小的服务器上。 最小活跃数

二、Nacos使用Ribbon

2-1、ribbon依赖

nacos-discovery依赖了ribbon，可以不用再引入ribbon依赖 0

2-2、添加@LoadBalanced注解

在之前的操作中已经给RestTemplate添加了@LoadBalanced注解，如下 image.png

2-3、修改controller

请求调用的时候，直接访问服务名，即可 image.png

三、Ribbon负载均衡策略

Ribbon实现类关系图如下 image.png

3-1、IRule

这是所有负载均衡策略的父接口，里边的核心方法就是choose方法，用来选择一个服务实例。

image.png

3-2、AbstractLoadBalancerRule

AbstractLoadBalancerRule是一个抽象类，里边主要定义了一个ILoadBalancer，这里定义它的目的主要是辅助负责均衡策略选取合适的服务端实例。

image.png

3-3、复制均衡策略方案

3-3-1、RandomRule 随机策略

这种负载均衡策略就是随机选择一个服务实例，看源码我们知道，在RandomRule的无参构造方法中初始化了一个Random对象，然后在它重写的choose方法又调用了choose(ILoadBalancer lb, Object key)这个重载的choose方法，在这个重载的choose方法中，每次利用random对象生成一个不大于服务实例总数的随机数，并将该数作为下标所以获取一个服务实例。

3-3-2、RoundRobinRule 轮询负载均衡策略

RoundRobinRule这种负载均衡策略叫做线性轮询负载均衡策略。这个类的choose(ILoadBalancer lb, Object key)函数整体逻辑是这样的：开启一个计数器count，在while循环中遍历服务清单，获取清单之前先通过incrementAndGetModulo方法获取一个下标，这个下标是一个不断自增长的数先加1然后和服务清单总数取模之后获取到的（所以这个下标从来不会越界），拿着下标再去服务清单列表中取服务，每次循环计数器都会加1，如果连续10次都没有取到服务，则会报一个警告No available alive servers after 10 tries from load balancer: XXXX。

3-3-3、RetryRule 在轮询的基础上进行重试

看名字就知道这种负载均衡策略带有重试功能。首先RetryRule中又定义了一个subRule，它的实现类是RoundRobinRule，然后在RetryRule的choose(ILoadBalancer lb, Object key)方法中，每次还是采用RoundRobinRule中的choose规则来选择一个服务实例，如果选到的实例正常就返回，如果选择的服务实例为null或者已经失效，则在失效时间deadline之前不断的进行重试（重试时获取服务的策略还是RoundRobinRule中定义的策略），如果超过了deadline还是没取到则会返回一个null。

3-3-4、WeightedResponseTimeRule 权重策略

WeightedResponseTimeRule是RoundRobinRule的一个子类，在WeightedResponseTimeRule中对RoundRobinRule的功能进行了扩展，WeightedResponseTimeRule中会根据每一个实例的运行情况来给计算出该实例的一个权重，然后在挑选实例的时候则根据权重进行挑选，这样能够实现更优的实例调用。WeightedResponseTimeRule中有一个名叫DynamicServerWeightTask的定时任务，默认情况下每隔30秒会计算一次各个服务实例的权重，权重的计算规则也很简单，如果一个服务的平均响应时间越短则权重越大，那么该服务实例被选中执行任务的概率也就越大。

需要注意的是这个权重和Nacos里面的权重不是一回事,如果想使用Nacos权重，则需要使用- NacosRule

3-3-5、ClientConfigEnabledRoundRobinRule

ClientConfigEnabledRoundRobinRule选择策略的实现很简单，内部定义了RoundRobinRule，choose方法还是采用了RoundRobinRule的choose方法，所以它的选择策略和RoundRobinRule的选择策略一致，不赘述。

3-3-6、BestAvailableRule

BestAvailableRule继承自ClientConfigEnabledRoundRobinRule，它在ClientConfigEnabledRoundRobinRule的基础上主要增加了根据loadBalancerStats中保存的服务实例的状态信息来过滤掉失效的服务实例的功能，然后顺便找出并发请求最小的服务实例来使用。然而loadBalancerStats有可能为null，如果loadBalancerStats为null，则BestAvailableRule将采用它的父类即ClientConfigEnabledRoundRobinRule的服务选取策略（线性轮询）。

3-3-7、ZoneAvoidanceRule（默认规则，复合判断server所在区域的性能和server的可用性选择服务器。）

ZoneAvoidanceRule是PredicateBasedRule的一个实现类，只不过这里多一个过滤条件，ZoneAvoidanceRule中的过滤条件是以ZoneAvoidancePredicate为主过滤条件和以

AvailabilityPredicate为次过滤条件组成的一个叫做CompositePredicate的组合过滤条件，过滤成功之后，继续采用线性轮询(RoundRobinRule)的方式从过滤结果中选择一个出来。

3-3-8、AvailabilityFilteringRule（先过滤掉故障实例，再选择并发较小的实例）

过滤掉一直连接失败的被标记为circuit tripped的后端Server，并过滤掉那些高并发的后端Server或者使用一个AvailabilityPredicate来包含过滤server的逻辑，其实就是检查status里记录的各个Server的运行状态。

四、修改默认负载均衡策略

Ribbon负载均衡策略类图 image.png

4-1、通过创建Ribbon配置类实现负载均衡策略

因为要修改默认的负载均衡策略，因此需要重写其策略方法，在上面的类图中也有介绍，最顶层的是IRule接口，因此我们需要去重写这个接口的实现。

4-1-1、重新创建一个项目

在之前的文章中，有两个服务分别是order和stock,order调用stock服务。因此我们需要在调用端也就是order端进行负载均衡策略的修改，创建order-ribbon项目如下：

image.png

4-1-2、创建配置类

此处需要注意的是，创建配置类有两种方案，一种是创建在CoponentScan扫描包下，这样就可以全局使用，另外一种就是创建在ComponentScan扫描包之外，这样就可以局部配置生效。

4-1-2-1、创建一个局部的随机负载策略配置类

我这边启动类在com.jony.order下，如果要配置局部配置，就不能在order下创建配置类。 image.png

创建配置类如下：

image.png 最终返回RandomRule(),IRule下的实现有这些，如下图 image.png

4-1-3、使用配置类

在order服务调用stock的地方设置局部的负载均衡配置类 在类上添加@RibbonClients注解，并设置value，是指@RibbonClient中name="stock-service"，并且使用configruation=RibbonRandomConfig.class(我们刚刚自己创建的随机策略)。

这样就指定了调用stock-service使用我们自己创建的随机策略模式了 image.png

如果涉及到多个服务，可以配置多个，如下： image.png

4-1-4、测试随机模式

启动两个stock-server，端口分别为9998/9999 image.png

这样在访问下单，调用库存接口的时候，就会随机进行调用

4-2、通过配置文件实现

4-2-1、修改配置文件

在配置文件中，添加服务名称“stock-service”，然后谁知策略的完整限定名即可 image.png

4-2-2、配置NacosRule权重

因为在配置类中设置了使用NacosRule，也就是Nacos权重，因此需要去Nacos集群设置服务的权重信息，如下：

image.png 通过以上配置，端口号9997的访问量就会较大，需要注意的是，不是严格按照比例访问的，只是相对比例。

闭坑：不论是通过配置类还是配置文件，服务名称一定要确保和注册到Nacos中的服务名称一致，包括大小写，否则设置的负载均衡策略可能就会不起作用

五、创建自定义负载均衡策略

5-1、创建随机策略

下面则为一个随机访问的策略，仅用于演示，如果是高并发的情况下，会有问题

package com.jony.rule;

import com.alibaba.nacos.client.naming.utils.ThreadLocalRandom;
import com.netflix.client.config.IClientConfig;
import com.netflix.loadbalancer.AbstractLoadBalancerRule;
import com.netflix.loadbalancer.ILoadBalancer;
import com.netflix.loadbalancer.Server;

import java.util.List;

public class CustomRule extends AbstractLoadBalancerRule {
    
    public Server choose(Object key) {
        ILoadBalancer loadBalancer=this.getLoadBalancer();
        //获得当前请求服务实例-此处获得的是正常可访问的实例
        List<Server> reachableServers = loadBalancer.getReachableServers();

        //获得当期可以服务的一个随机数，比如有3台服务，获得的随机数位0/1/2,中一个
        int i = ThreadLocalRandom.current().nextInt(reachableServers.size());
        //传入最终的随机数，获得最终使用的服务
        Server server = reachableServers.get(i);
        return server;
    }

    public void initWithNiwsConfig(IClientConfig iClientConfig) {

    }
}

5-2、使用自定义策略

使用自定义策略，还可以配置在类上面或者写在配置文件中，下面用配置文件作为演示 image.png

通过设置自定义类的完整限定名就可以加载了。

六、设置服务饥饿加载模式

在项目启动的时候，实际上是不进行服务加载的，只有在调用的时候才会进行加载，这样如果第一次访问就可能会略有延迟或者失败，因此需要将服务设置为饥饿加载模式，先看下未设置的时候。

6-1、启动项目

可以看到项目已经启动成功，但是stock-service服务并未加载 image.png

访问服务时候，加载stock-service image.png

6-2、在配置文件中设置饥饿加载

image.png

6-3、启动服务测试

可以看到，在服务启动成功的时候就进行加载服务了。 image.png

七、使用LoadBalancer替换Ribbon

目前Ribbon已经停更，但是它目前仍然是较好的负载均衡器，不过我们也需要知道一些其他的负载均衡器，比如spring cloud退出的LoadBalancer,下面就演示一下如何将Ribbon改为LoadBalancer。

7-1、新建一个order-loadBalancer项目

上面已经有order-ribbon，为了方便直接复制一下，然后将项目名改为order-loadbalancer,同时修改项目的pom以及父项目的pom

image.png

7-2、添加依赖

因为项目中已经导入了spring-cloud-alibaba的包，而这个报下已经引入了ribbon，因此需要先将ribbon排除

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-ribbon</artifactId>
        </exclusion>
    </exclusions>
</dependency>

然后添加LoadBalancer的依赖

如果不在pom中移出ribbon也可以通过配置文件进行移出：

image.png

原理：默认情况下，如果同时拥有RibbonLoadBalancerClient和BlockingLoadBalancerClient，为了保持向后兼容性，将使用RibbonLoadBalancerClient。要覆盖它，可以设置spring.cloud.loadbalancer.ribbon.enabled属性为false

image.png

需要注意的LoadBalace是spring cloud的组件，因此spring-cloud-dependencies必须有

7-3、添加给RestTemplate添加@LoadBalanced注解

之前使用ribbon的时候也需要添加这个注解 image.png

7-4、使用LoadBalaced实现负载均衡

不需要添加任何相关注解或代码就可以实现LoadBalacer的轮询负载均衡。 image.png

7-5、顶级接口

上面提到Ribbon的顶级接口为IRule,而LoadBalancer的顶级接口为：ReactiveLoadBalancer，最终实现它的有两个负载均衡策略，一个是随机，一个是轮询，如下：

image.png

avatar
文章
阅读
粉丝