爬虫——反爬机制

383 阅读1分钟

一、 UA检测

UA 检测是检测到非浏览器发起的请求。 网站后台检测请求是否为异常请求:通过浏览器的请求头信息,User-Agent User-Agent:请求载体的身份标识

二、 cookie 反爬

反爬原理

  • cookie 可以设置有效时长

  • cookie 可以存在动态变化的键值对数据

    因此将 cookie 写死在一个 header 字典不是明智的选择

三、 ip 封锁

在短时间内,想一个网站发起高频的请求,网站会将请求的 ip 加入黑名单

四、 登录验证

五、 12306 验证码

通过截图分析

六 进制使用开发者工具

七 JS 混淆

  • 服务端将核心的 js 函数的实现进行了加密
  • 处理 解释反混淆——暴力破解