在 Node.js 项目中,反爬虫通常通过限流、请求校验、验证码和异常行为监控等方式实现。下面介绍几个常用工具。
1. express-rate-limit
适用于 Express 项目的接口限流,可限制单个 IP 的请求频率,防止高频抓取和接口滥用。
import rateLimit from "express-rate-limit";
const limiter = rateLimit({
windowMs: 60 * 1000,
max: 100,
message: "请求过于频繁,请稍后再试"
});
app.use("/api", limiter);
2. rate-limiter-flexible
功能更灵活,支持 Redis、内存等存储方式,适合分布式服务和复杂限流场景。
适用场景:
- 按 IP 限流
- 按用户或 Token 限流
- 登录失败次数限制
- 防止接口暴力请求
3. helmet
helmet 通过设置 HTTP 安全响应头增强 Express 应用安全性。它不能直接阻止爬虫,但可以减少常见的 Web 安全风险。
import helmet from "helmet";
app.use(helmet());
4. express-slow-down
当请求频率过高时,逐步增加响应延迟,而不是直接封禁请求,适合降低爬虫效率并减少误伤。
5. CORS
通过 cors 配置允许访问的来源,限制浏览器跨域调用接口。不过需要注意,CORS 主要针对浏览器环境,无法阻止普通脚本直接发送请求。
6. 验证码服务
对于登录、注册、评论等敏感操作,可以接入 Cloudflare Turnstile、reCAPTCHA 等验证码服务,识别自动化访问行为。
总结
Node.js 反爬虫建议组合使用:express-rate-limit 或 rate-limiter-flexible 限流、helmet 加固、验证码验证、请求签名和日志监控。同时应合理设置规则,避免影响正常用户。