限流
为了保证系统的安全性和稳定性,防止恶意流量和突发大量流量短时间内大量请求接口,造成服务器崩溃,接口的限流是有必要的。 以下是四种经典的限流算法。
基于计数器的限流
在一定的时间区间内记录请求次数,到下一个区间就清零 如果请求时当前区间的请求次数已经达到了阈值,不予请求。
优点:简单易理解 缺点:有临界问题
基于滑动窗口的限流
可以把上面的时间区间更小粒度的划分,分为更小的独立区间
比如一开始是1分钟,划分为10s,每次经过10s,我们自然需要把整个计数区间往右边移动一个
优点:
- 可以通过调整窗口大小来实现不同的限流效果
- 可扩展性强
如果切分越小,产生的块就多,窗口滚动越平滑,限流统计越准确,但是对服务器压力越大
漏桶算法
控制水流稳定流出,进水就是向接口发起的请求,一定有时快有时慢,但是漏水的速度是一定的,只要桶装满了就拒绝请求
我们只需要处理漏斗稳定流出的水流即可
明显用队列实现
缺点是对于一些突发流量,还是像之前一样处理,降低用户体验,损失请求。
令牌桶算法
把令牌以稳定的速度放入桶中,如果桶被放满了,多余的令牌就无法放入
每来一个请求就必须从桶中申请令牌,申请到了才能被处理
可以用队列存储令牌
漏桶里面的任务是一点点执行的,令牌桶有可能一下子把令牌全用光一起执行,这样就可以很快的处理大流量的请求
缺点:
- 实现复杂
- 需要在固定时间内生成令牌,时间精度要求高
对于令牌桶的实现可以用Google提供的工具ლ(´ω`ლ)゙
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>30.1-jre</version>
</dependency>
RateLimiter可以用来对令牌桶进行管理
//创建令牌桶
RateLimiter rateLimiter = RateLimiter.create(20);
//尝试从令牌桶中拿令牌(设置超时时间)
boolean acquire = rateLimiter.tryAcquire(200, TimeUnit.MILLISECONDS);
实际项目中,推荐采用令牌桶算法+自定义注解的方式,实现对每个接口的限流管理。
实战
自定义注解:
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD,ElementType.TYPE})
@Documented
public @interface Limit {
/**
* 资源的key,唯一
* 作用:不同的接口,不同的流量控制
*/
String key() default "";
/**
* 最多的访问限制次数
*/
double permitsPerSecond() ;
/**
* 获取令牌最大等待时间
*/
long timeout();
/**
* 获取令牌最大等待时间,单位(例:分钟/秒/毫秒) 默认:毫秒
*/
TimeUnit timeunit() default TimeUnit.MILLISECONDS;
/**
* 得不到令牌的提示语
*/
String msg() default "系统繁忙,请稍后再试.";
}
编写aop处理注解的接口:
@Slf4j
@Aspect
@Component
public class LimitAop {
/**
* 不同的接口,不同的流量控制
* map的key为 Limiter.key
*/
private final Map<String, RateLimiter> limitMap = Maps.newConcurrentMap();
@Pointcut(value = "@annotation(com.futurelivestreaming.annotation.Limit)")
public void getExecution() {
}
@Around("getExecution()")
public Object around(ProceedingJoinPoint joinPoint) throws Throwable{
MethodSignature signature = (MethodSignature) joinPoint.getSignature();
Method method = signature.getMethod();
//拿limit的注解
Limit limit = method.getAnnotation(Limit.class);
if (limit != null) {
//key作用:不同的接口,不同的流量控制
String key=limit.key();
RateLimiter rateLimiter = null;
//验证缓存是否有命中key
if (!limitMap.containsKey(key)) {
// 创建令牌桶
rateLimiter = RateLimiter.create(limit.permitsPerSecond());
limitMap.put(key, rateLimiter);
log.info("新建了令牌桶={},容量={}",key,limit.permitsPerSecond());
}
rateLimiter = limitMap.get(key);
// 拿令牌
boolean acquire = rateLimiter.tryAcquire(limit.timeout(), limit.timeunit());
// 拿不到命令,直接返回异常提示
if (!acquire) {
log.debug("令牌桶={},获取令牌失败",key);
this.responseFail(limit.msg());
return null;
}
}
return joinPoint.proceed();
}
/**
* 直接向前端抛出异常
* @param msg 提示信息
*/
private void responseFail(String msg) {
HttpServletResponse response=((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getResponse();
//转化为json
String string = JSON.toJSONString(Result.fail("请求繁忙,请稍后访问"));
CommonUtils.renderString(response,string);
}
}