why?
本篇文章旨在帮助网站限制用户访问频率,一定程度上挡住了部分爬虫攻击。
可通过扩展get_client_id
识别客户端 或 HTTP_FORBIDDEN
来回传给验证码。滑块操作等人机验证
安装OpenResty
OpenResty® 通过汇聚各种设计精良的 Nginx 模块(主要由 OpenResty 团队自主开发),从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样,Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块,快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。
OpenResty是一个基于Nginx的平台,里面提供了许多高质量的第三方模块。我们本次使用的是redis + lua组合,所以需要OpenResty来提供lua环境
点击此处下载
新建一个站点用于测试
package main
import "github.com/gofiber/fiber/v2"
func main() {
app := fiber.New()
app.Get("/", func(c *fiber.Ctx) error {
return c.SendString("content content content")
})
app.Get("/api/member/get", func(c *fiber.Ctx) error {
user := struct {
UserName string `json:"userName"`
Age int `json:"age"`
}{UserName: "juejin", Age: 100}
return c.JSON(user)
})
app.Listen(":8080")
}
在上述代码中,我们提供了一个http get /api/member/get
的API,他返回了一堆json
在根节点则返回了一堆没有意义的字符
访问API截图如下:
将站点托管到nginx中
在server节点里,指定特定的路径名并使用lua script
此处403只是返回了一个静态页面,后面我们可以像开头说的那样换成验证码之类的...
location ~ /api { #这里可以自定义路径
proxy_http_version 1.1;
access_by_lua_file lua/access_limit.lua; #指定lua的路径
allow 127.0.0.1;
proxy_pass http://127.0.0.1:8080;
proxy_redirect default;
}
error_page 403 /403.html; #这个是我们拒绝访问时,返回给客户端的响应
location = /403.html {
root html;
allow all;
}
lua 处理请求
Q:每次请求都要连接redis,会不会导致连接耗尽、资源紧张?
A:OpenResty为我们提供了连接池,资源是可以重用的,不会导致资源紧张
我们首先来确定一下基本的参数:
block_client = 1 //用来记录封锁时长
limt_client = 5 //每秒访问个数
local limit_expiry = 1 //记录limit_expiry秒内的访问
local max_count = 5 //limit_expiry秒内的访问秒内的最大访问次数
主要方法解析:
- get_client_id 方法:这个方法主要是用来识别用户身份的。可以取 ip 、 token 、 cookie 之类的做个签名以当做用户的访问令牌的。这里偷个懒,只是取了原ip
local function get_client_id()
local headers = ngx.req.get_headers()
local clientId = headers["X-Real-IP"] or headers["x_forwarded_for"] or ngx.var["remote_addr"] or "0.0.0.0"
return clientId
end
- 释放连接
--从连接池关闭redis
local function close_redis(client)
if not client then
return
end
--将redis连接放回连接池
local ok, err = client:set_keepalive(pool_max_idle_time, pool_size)
if not ok then
ngx.say("redis connct err:",err)
return client:close()
end
end
完整代码:
写在最后
本次主要学习了lua来实现限流,性能上没有带来明显的负荷
主要思路为:设定一个N秒内过期的key,客户端发起请求时通过get_client_id来识别用户身份。每次请求时给这个key自增1,当此值超过我们规定的最大值时。拒绝此用户的请求,并将此用户记录到block_client。下次直接拒绝该用户请求。block_client过期后。用户又能正常访问服务
思维导图: