云淡风轻爱学习73809

本文主要讲解数据仓库的一个重要环节：如何设计数据分层！其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。

现在有很多爬虫框架，比如scrapy、webmagic、pyspider，也可以直接通过requests+beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中，爬虫框架各自有各自的优势和缺陷。所以我模仿这些爬虫框架的优势，搭配gevent(实际上是grequests)开发了这套轻量级爬虫框架。

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…