接口限流四种经典算法

142 阅读3分钟

限流

为了保证系统的安全性和稳定性,防止恶意流量和突发大量流量短时间内大量请求接口,造成服务器崩溃,接口的限流是有必要的。 以下是四种经典的限流算法。

基于计数器的限流

在一定的时间区间内记录请求次数,到下一个区间就清零 如果请求时当前区间的请求次数已经达到了阈值,不予请求。

优点:简单易理解 缺点:有临界问题

Snipaste_2024-08-23_21-39-37.png

基于滑动窗口的限流

可以把上面的时间区间更小粒度的划分,分为更小的独立区间

比如一开始是1分钟,划分为10s,每次经过10s,我们自然需要把整个计数区间往右边移动一个

优点:

  • 可以通过调整窗口大小来实现不同的限流效果
  • 可扩展性强

如果切分越小,产生的块就多,窗口滚动越平滑,限流统计越准确,但是对服务器压力越大

Snipaste_2024-08-24_10-53-48.png

漏桶算法

控制水流稳定流出,进水就是向接口发起的请求,一定有时快有时慢,但是漏水的速度是一定的,只要桶装满了就拒绝请求

我们只需要处理漏斗稳定流出的水流即可

明显用队列实现

缺点是对于一些突发流量,还是像之前一样处理,降低用户体验,损失请求。

Snipaste_2024-08-24_10-54-16.png

令牌桶算法

把令牌以稳定的速度放入桶中,如果桶被放满了,多余的令牌就无法放入

每来一个请求就必须从桶中申请令牌,申请到了才能被处理

可以用队列存储令牌

Snipaste_2024-08-24_10-54-46.png

漏桶里面的任务是一点点执行的,令牌桶有可能一下子把令牌全用光一起执行,这样就可以很快的处理大流量的请求

缺点:

  • 实现复杂
  • 需要在固定时间内生成令牌,时间精度要求高

对于令牌桶的实现可以用Google提供的工具ლ(´ω`ლ)゙

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>30.1-jre</version>
</dependency>

RateLimiter可以用来对令牌桶进行管理

//创建令牌桶
RateLimiter rateLimiter = RateLimiter.create(20);

//尝试从令牌桶中拿令牌(设置超时时间)
boolean acquire = rateLimiter.tryAcquire(200, TimeUnit.MILLISECONDS);

实际项目中,推荐采用令牌桶算法+自定义注解的方式,实现对每个接口的限流管理。

实战

自定义注解:

@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD,ElementType.TYPE})
@Documented
public @interface Limit {
    /**
     * 资源的key,唯一
     * 作用:不同的接口,不同的流量控制
     */
    String key() default "";

    /**
     * 最多的访问限制次数
     */
    double permitsPerSecond() ;

    /**
     * 获取令牌最大等待时间
     */
    long timeout();

    /**
     * 获取令牌最大等待时间,单位(例:分钟/秒/毫秒) 默认:毫秒
     */
    TimeUnit timeunit() default TimeUnit.MILLISECONDS;

    /**
     * 得不到令牌的提示语
     */
    String msg() default "系统繁忙,请稍后再试.";
}

编写aop处理注解的接口:

@Slf4j
@Aspect
@Component
public class LimitAop {
    /**
     * 不同的接口,不同的流量控制
     * map的key为 Limiter.key
     */
    private final Map<String, RateLimiter> limitMap = Maps.newConcurrentMap();
    @Pointcut(value = "@annotation(com.futurelivestreaming.annotation.Limit)")
    public void getExecution() {

    }
    @Around("getExecution()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable{
        MethodSignature signature = (MethodSignature) joinPoint.getSignature();
        Method method = signature.getMethod();
        //拿limit的注解
        Limit limit = method.getAnnotation(Limit.class);
        if (limit != null) {
            //key作用:不同的接口,不同的流量控制
            String key=limit.key();
            RateLimiter rateLimiter = null;
            //验证缓存是否有命中key
            if (!limitMap.containsKey(key)) {
                // 创建令牌桶
                rateLimiter = RateLimiter.create(limit.permitsPerSecond());
                limitMap.put(key, rateLimiter);
                log.info("新建了令牌桶={},容量={}",key,limit.permitsPerSecond());
            }
            rateLimiter = limitMap.get(key);
            // 拿令牌
            boolean acquire = rateLimiter.tryAcquire(limit.timeout(), limit.timeunit());
            // 拿不到命令,直接返回异常提示
            if (!acquire) {
                log.debug("令牌桶={},获取令牌失败",key);
                this.responseFail(limit.msg());
                return null;
            }
        }
        return joinPoint.proceed();
    }

    /**
     * 直接向前端抛出异常
     * @param msg 提示信息
     */
    private void responseFail(String msg)  {
        HttpServletResponse response=((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getResponse();
        //转化为json
        String string = JSON.toJSONString(Result.fail("请求繁忙,请稍后访问"));
        CommonUtils.renderString(response,string);
    }
}