网络爬虫是现在很热门的一个职业，受到很多的追捧。原本只是一门获取数据的技术，但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，很多原创得不到保护，大量用户信息被泄漏等问题出现。于是很多网站开始反网络爬虫,想方设法保护自己的内容。
他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封装，ajax混淆，js加密，图片等五花八门的技术，来反网络爬虫。防的一方不惜工本，迫使抓的一方在考虑成本效益后放弃,抓的一方也不惜成本的去爬取。反爬的方式有很多，今天重点讲下通过请求参数如何来限制爬虫的访问。
1、网站可以通过访爬虫中headers带的User-Agent字段来反爬、通过referer字段或者是其他字段来反爬。如果Python写的爬虫不加入User-Agent，在后台服务器是可以看到服务器的类型的。
2、通过cookie限制抓取信息，比如我们模拟登陆之后，想拿到登陆之后某页面信息，千万不要以为模拟登陆之后就所有页面都可以抓了，有时候还需要请求一些中间页面拿到特定cookie，然后才可以抓到我们需要的页面。
3、最有技术难度的反爬虫策略当属“验证码”。简单点的验证只需要用户登录时输入一次便可录成功。比较难的就是在我们程序抓取数据过程中，需要不断的登录，不断的进行验证，所以这种验证的出现难倒了一大批人。当然还有滑块的，点触的等都是一些比较有难度的，爬虫技术不行的是很难获取到数据的。
4、基于请求频率或总请求数量的反爬，常见的反爬虫策略当属封ip和封账号，当你抓取频率过快时，ip或者账号被检测出异常会被封禁。被封的结果就是浏览器都无法登陆了。
关于网站的反爬常见的就是以上这些，那上有政策下肯定有对策呀，这些反爬在爬虫过程中都能破解，下篇文章带大家一起了解怎么破解这些反爬问题并成功的获取到数据。
