--- highlight: agate theme: juejin --- 每天，成千上万的爬虫在悄无声息地抓取网站数据，不仅占用服务器资源，还会窃取核心业务数据。当你发现服务器 CPU 突然飙升，或者竞争对手不知从何处获得了你的最新产品信息时，构建一套有效的反爬虫系统已成为当务之急。本文将从实战角度出发，手把手教你如何用 Java 构建既能保护数据又能兼顾用户体验的强大防护网。 ## 反爬虫策略全景图反爬虫系统本质是场持续的技术对抗，需要多层次防御。从实现方式看，可分为以下几类： ![](https://p3-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/ec42c7f817ca452ca6bee122a0f7f70e~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5byC5bi45ZCb:q75.awebp?rk3s=f64ab15b&x-expires=1768608598&x-signature=9GWTnyYSdUZhmzwtirYlJn4JtLg%3D) 下面我们逐层深入各防护策略的 Java 实现细节。 ## 1. 请求频率控制 ### 1.1 内存优化的 IP 限流器请求频率控制是反爬系统的第一道防线，下面是经过内存优化的 IP 限流实现： ```java import com.google.common.util.concurrent.RateLimiter; import org.springframework.stereotype.Component; import org.springframework.web.servlet.HandlerInterceptor; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.util.Map; import java.util.concurrent.ConcurrentHashMap; import java.util.concurrent.TimeUnit; import java.util.concurrent.Executors; import java.util.concurrent.ScheduledExecutorService; import lombok.extern.slf4j.Slf4j; @Slf4j @Component public class IpRateLimitInterceptor implements HandlerInterceptor { // 每个IP每秒允许的请求数 private static final double PERMITS_PER_SECOND = 10.0; // 使用自定义类封装限流器和访问时间，减少Map数量 private static class RateLimiterWrapper { final RateLimiter limiter; long lastAccessTime; RateLimiterWrapper(double permitsPerSecond) { this.limiter = RateLimiter.create(permitsPerSecond); this.lastAccessTime = System.currentTimeMillis(); } void updateAccessTime() { this.lastAccessTime = System.currentTimeMillis(); } boolean isExpired(long expiryMillis) { return System.currentTimeMillis() - lastAccessTime > expiryMillis; } } // 存储IP对应的限流器 private final Map LIMITERS = new ConcurrentHashMap<>(); // 清理任务线程池 private final ScheduledExecutorService CLEANER = Executors.newSingleThreadScheduledExecutor(); public IpRateLimitInterceptor() { // 每小时清理一次未使用的限流器，避免内存泄漏 CLEANER.scheduleAtFixedRate(this::cleanupLimiters, 1, 1, TimeUnit.HOURS); } @Override public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception { String ip = getClientIp(request); if (ip == null || ip.isEmpty()) { log.warn("无法获取客户端IP，拒绝请求"); response.setStatus(HttpServletResponse.SC_FORBIDDEN); return false; } try { // 获取或创建限流器 RateLimiterWrapper wrapper = LIMITERS.computeIfAbsent( ip, k -> new RateLimiterWrapper(PERMITS_PER_SECOND)); // 更新访问时间 wrapper.updateAccessTime(); // 尝试获取令牌，如果获取不到则拒绝请求 if (!wrapper.limiter.tryAcquire()) { response.setStatus(HttpServletResponse.SC_TOO_MANY_REQUESTS); response.getWriter().write("请求频率过高，请稍后再试"); log.info("IP: {} 请求频率超限", ip); return false; } return true; } catch (Exception e) { log.error("IP限流处理异常", e); // 发生异常时放行请求，避免因限流组件故障影响正常业务 return true; } } private String getClientIp(HttpServletRequest request) { String ip = null; String[] HEADERS = { "X-Forwarded-For", "Proxy-Client-IP", "WL-Proxy-Client-IP", "HTTP_X_FORWARDED_FOR", "HTTP_CLIENT_IP", "REMOTE_ADDR" }; for (String header : HEADERS) { String value = request.getHeader(header); if (value != null && value.length() > 0 && !"unknown".equalsIgnoreCase(value)) { // 处理多级代理情况 if (value.contains(",")) { // 从右到左解析，获取第一个非unknown的IP String[] ips = value.split(","); for (int i = ips.length - 1; i >= 0; i--) { String ipItem = ips[i].trim(); if (!"unknown".equalsIgnoreCase(ipItem)) { return ipItem; } } } else { return value; } break; } } return ip != null ? ip : request.getRemoteAddr(); } private void cleanupLimiters() { long expiryMillis = TimeUnit.HOURS.toMillis(1); // 1小时未访问则清理 int sizeBefore = LIMITERS.size(); // 清理长时间未使用的限流器 LIMITERS.entrySet().removeIf(entry -> entry.getValue().isExpired(expiryMillis)); int sizeAfter = LIMITERS.size(); if (sizeBefore > sizeAfter) { log.info("清理完成，释放限流器: {} -> {}", sizeBefore, sizeAfter); } } } ``` 这个优化版本使用自定义的`RateLimiterWrapper`类同时管理限流器和访问时间，减少内存占用并提高数据一致性。 ### 1.2 增强型滑动窗口限流针对边界条件优化的 Redis 滑动窗口限流实现： ```java import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.stereotype.Service; import java.time.Instant; import java.util.List; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.data.redis.connection.RedisConnection; import org.springframework.data.redis.core.RedisCallback; @Slf4j @Service @RequiredArgsConstructor public class RedisRateLimiter { private final StringRedisTemplate redisTemplate; /** * 毫秒级精度滑动窗口限流 * @param key 限流标识，通常是IP * @param windowMs 窗口大小（毫秒） * @param maxRequests 窗口内最大请求数 * @return 是否允许请求 */ public boolean isAllowed(String key, int windowMs, int maxRequests) { final long now = Instant.now().toEpochMilli(); // 毫秒级时间戳 final String requestKey = "rate_limiter:" + key; // 使用pipeline批量操作，减少网络IO List

反馈网站访问问题