博客迁移到WordPress两月有余,搭建在Vultr上,虽然确实因为服务器原因丢包较重,但是也不至于这么慢,查看了一下统计信息,发现YisouSpider爬虫请求很多,造成服务器卡死。这他妈是什么流氓爬虫,晚上搜索一番,这一波波的劣迹。
本想直接使用rebots.txt约束爬虫,试过之后卵用都没有。完全是逼我动粗。
打开nginx配置文件:
server{
if ($http_user_agent ~* "YisouSpider") {
return 403;
}
}
保存后调用:
nginx -s reload
最后测试一下:
curl -I -A "YisouSpider" https://www.labradors.work/
返回结果:
至此完美屏蔽这个垃圾的爬虫。