常用的爬虫技巧

151 阅读3分钟
爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。


基本流程







上图是一般爬虫的基本流程,本文主要介绍其中的网页获取和网页解析。


网页获取


网页获取一般有以下几种情况: - get - post - cookies - header - ip代理 - gzip


用浏览器控制台观察目标网站,观察请求信息模拟获取网页内容,其中 get 方法可以直接获取的最为简单,直接访问即可。


部分网页可能需要 post 方法带参数获取,可以用 postman模拟。


还有些网站需要登录才能获取信息,这时需要携带 cookies 信息来模拟请求。 修改 header主要可能包括User-Agent , Referer和Content-Type这里可能需要多次尝试,有些网站会自定义header字段也是需要注意,不同网站验证的情况不一样。header还可以模拟成搜索引擎抓取目标网站来降低被目标网站防爬的几率。 开发爬虫大量抓取网站还有ip被封禁的可能,这时就需要用到ip代理去获取目标网站。另外有些网站进行了gzip压缩优化网站体验,这时抓取的内容总是一团乱码,需要先解压一下。


爬取过高,可能会被对方服务器限制,因此可能需要对爬取频率做一些调整以及使用一些代理来进行爬取。


需要注意一下目前有很多网站分页加载是ajax异步请求,有的是JSON返回,有的是html片段。也有JavaScript代码加载内容,这时可能需要用到 phantomJS 来进行渲染解析。


网页解析


下面来说一下网页解析: - HTML DOM 解析 - Xpath - 正则 - CSS选择器 - JSON XML


html :h2.getElementsByTag("span").first().text(); Xpath:/center/table[@id='hnmain']/tbody/tr[3]/td/table[@class='itemlist']/tbody/tr[@class='athing']/td[@class='title'][2]/a chrome命令行可以直接获取,推荐 chrome扩展Xpathhelper实际使用中可以精简一下



css 选择器: 比如 #username 正则表达式:用标准正则解析,一般会把HTML当做普通文本,用指定格式匹配当相关文本,适合小片段文本,或者某一串字符,或者HTML包含javascript的代码,无法用CSS选择器或者Xpath。JSON和XML结构化数据在网站上较为少见,不过解析起来更为方便。


如果获取的目标内容同时有 web 和 app更推荐通过fiddler抓包的方式获取到接口地址来抓取数据。JSON数据推荐使用chrome扩展jsonview观察分析数据,XMl也有相应扩展,接口形式变动少,即便升级也一般也都会保留原有接口,多数为增加属性,不会影响到数据抓取脚本,效率更高。


实际使用


大量抓取数据实际使用中还需要注意一些问题,抓取效率取决于双方的网络情况,监控自己的带宽。抓取过程中内存可能会占用越来越多,要及时释放掉用过的资源。一些时效性要求比较高的数据需要及时获取,有可能需要将脚本拆分成更小的单元,多线程同时进行。每天同步一次的数据,可以考虑在对方服务器负载较低的时候进行抓取。错误收集和失败重连机制还有自己的终止条件设定也很重要,每天都需要更新的数据,还需要监控每天实际爬取的总量


更多免费技术资料可关注:annalin1203