下图是12年到16年黄焖鸡米饭的门店数随时间的增长情况

以下是2012年、2013年各个省份黄焖鸡米饭门店数的增长情况

那么这些数据信息是如何爬取得到的呢，现在一步步告诉大家

-----------【【数据来源分析】】

首先需要黄焖鸡米饭门店的创建时间，来分析黄焖鸡米饭随时间的增长，其次需要门店的地域信息来分析不同地域黄焖鸡米饭的增长情况。

分析大众点评的商户门店信息，可以在商户的贡献榜页面找到相关的信息，如下图：

这里需要对数据作几个近似处理：

仅选取商户名中包含"黄焖鸡米饭"的门店

将商户的添加时间近似看作门店的创建时间

大众点评无法查到已经关闭的商户，所以这里不考虑门店的关闭，仅选取现存的门店

----------【【开始写爬虫】】

上面分析了对数据的需求，下面就开始动手写爬虫爬取数据啦~

熟悉爬虫的人都知道，一个爬虫的基本工作流程是：

首先挑选一部分种子URL

（也可以叫入口URL），并放入到待爬队列中

从待爬队列中取出一个URL，下载内容并从中抽取信息，同时发现新URL，并加入到待爬队列中。重复此步骤，直至待爬队列为空。

种子URL，也可以叫入口URL，爬虫以这些URL为入口，以某种规则发现新的URL，最终爬遍所有想要的网页。为了爬取高效，我决定直接用大众点评的搜索，选择大众点评的搜索结果页作为入口URL，爬取结果页的所有商户并筛选后作为样本数据。大众点评的搜索也是分区域的，要把所有区域的搜索结果页都作为入口URL，形如

http://空格www.空格dianping.com/search/keyword/{region_id}/0_黄焖鸡米饭

其中region_id从1到2323（很容易可以发现此范围内是中国的区域，数字再大就到国外了，如果多了或者少了请告诉我）。

抽取信息

从网页中抽取信息，最常用的是xpath，这里我们需要抽取商户id（防止重复），商户名称（过滤掉不含黄焖鸡米饭的），创建时间，区域名称，省份是没有的，需要根据区域名称得到。xpath可以结合Chrome的开发者工具来写，并通过xpath插件来验证，下面给出这几项数据的xpath：

商户id，抽取的数据中包含其他商户id，需要进一步处理来得到id

//div[contains(@class,'shop-review-wrap')]/div/h3/a/@href

商户名称

//div[contains(@class,'shop-review-wrap')]/div/h3/a/text()

创建时间，需要进一步字符串处理后得到时间

//div[contains(@class,'block raw-block')]/ul/li[1]/span

区域名称，同样文本需要处理

//div[@class='breadcrumb']/b[1]/a/span/text()

发现新URL

URL的发现规则不是必须配置的，但是配置之后，可以大大提高爬虫的速率。对于大众点评这样规整的列表页+

详情页，配置好列表页的url规则和详情页的url规则，爬虫的目标就很明确，爬取速率杠杠的。一般这种规则用正则来表示，对于这里的爬虫，列表页规则为

http://www空格.dianping.com/search/keyword/\\d+/0_.*

详情页规则为

http://www.空格dianping.com/shop/\\d+/editmember

另外，大众点评限制了IP的访问频率，这里可以把降低爬取速率，或是使用代理。如果你使用的是神箭手云爬虫，则代码如下

configs.enableProxy = true;

自己写爬虫的同学，请自行Google代理IP，此处不再赘述。

--------------【【用爬取的数据配置出图表】】

折腾出了这么多代码，约摸着看到这的都是真爱了，那么赶紧看看我们的成果吧：

总共爬取到14000多条数据，现在就以这些数据作为样本来分析（下面涉及到的图表的设置，都是在神箭手云平台上操作完成的）。

1.

黄焖鸡米饭的整体增长

像原文里的分析一样，以季度为单位，作出2012年至2016年，黄焖鸡米饭的门店数随时间的增长情况。就做出了上方的那张图：

上图中，柱形绘制的是各个季度门店的新增数，折线绘制的是截止到某个季度的总门店数。对于柱形图/折线图，首先设置X轴和Y轴。Y轴比较简单，就是门店数，值类型是value，一个Y轴就可以了，不需要第二个Y轴；X轴是按季度划分的，值类型是category，需要在爬取结果的create_time字段上作区间划分，这里展示的"新增"和"总店数"两个数据，它们的统计区间是不一样的，"新增"统计的是create_time落在某个季度的门店数，而"总店数"统计的是create_time在某个季度之前的门店数，所以这里的区间划分需要定义两个。

X轴和Y轴定义好之后，开始定义数据。新增数展示为柱形图。X轴的字段选择create_time，在create_time上划分区间，这里通过简单的字符串比较就可以划分出季度区间，比如"2013-Q2"，定义它的最小值为"2013-04-01"，最大值为"2013-07-01"。Y轴只需要对划分出的区间作count操作就可以，所以配置Y轴字段为'*'，操作选择计数。

总店数展示为折线图。总店数跟新增数唯一的区别就是区间划分，比如"2013-Q2"，只定义它的最大值为"2013-07-01"就好了。

下图为部分设置界面。

配置完成后保存，就可以查看生成的图表了。

2.

分区域分析黄焖鸡米饭的增长

逐年观察各个省份黄焖鸡米饭门店数的增长情况，时间维度体现在多张图上，省份的数据通过中国地图的着色深浅来表示。就做出了如上所示的图：

图表类型为中国地图，配置也比较简单。首先在create_time上添加过滤条件来配置年份，比如要配置2014年的地图，添加过滤条件，字段选择create_time，设置最大值为"2015-01-01"；配置区域字段为province_name，数据还是计数操作，选择字段为'*'，操作为count。这样就会筛选出2014年底黄焖鸡米饭的门店，并以省为单位，分别统计门店个数。最后设置图例，不同门店数用不同的颜色填充，就可以作出上面的系列图。

大功告成，一碗热腾腾的黄焖鸡米饭就可以上桌了，如果想搞什么大盘鸡，小盘鸡，红烧肉,KTV

代码信息：

github上分享了所有的代码

https://github.com/ShenJianShou/crawler_samples/blob/master/dianping.js

最后附上神箭手云爬虫链接，对云爬虫开发有兴趣的童鞋，欢迎来看看哦

http://www.shenjianshou.cn/