本篇介绍一个scrapy的实战爬虫项目，并对爬取信息进行简单的数据分析。目标是北京二手房信息，下面开始分析。 采用安居客网页信息作为二手房的信息来源。直接点击进入二手房信息的页面。 博主并没有采用分区域进行爬取，博主是直接进行全部爬取，然后循环下一页完成的。步骤很简单，如下： …

上次给大家带来的卫视收视率的实时分析，反响还不错。而此次我们的主题是："中国好诗人"，这次小编会与大家聊聊在中国历史中留下浓墨重彩的古代文人们，究竟谁的作品最受欢迎，谁的人气最高，谁又最高产。本文将用当前流行的选秀节目形式在轻松的氛围中回答这些问题，并与大家分享一些爬虫和统计的…

成都二手房房情分析

本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。 特征工程包括的内容很多，有特征清洗，预处理，监控等，而预处理根据单一特征或多特征又分很多种方法，如…

数据概览 本次项目使用到的数据包括：一卡通消费数据、校园网wifi数据、上海市闵行区气象数据。具体来说包括： 商户信息：共134项观测，包含32个商户系统、85个子商户； 用户信息：共30861项观测，包含30861个一卡通账户、30812个学号，即有49名学生拥有两个一卡通账…

数据介绍 本文基于以下数据进行分析和可视化，山东江苏空气质量数据、全国水质监测数据、全国气象数据、全国风场格点数据、山东污染企业和污染排放数据，希望能够唤醒公众对于公益环保的认识。 作品内容 我主要做了以下几个方面的统计、分析和可视化：空气质量、水质、污染、风、雨。可视化的工作…

如何更好地数据监控、数据分析以及数据可视化呈现？本文详细介绍了 5 种典型的可视化图表，帮你更好的解决以上三个问题。