Python数据科学

上一篇是数据挖掘的前戏，主要目的是认识数据特征、判断特征重要性、观察数据异常，掌握数据间联系。本篇将继续上一篇分析进行数据挖掘建模部分。 数据预处理涉及的内容很多，也包括特征工程，是任务量最大的一部分。为了让大家更清晰的阅读，以下先列出处理部分大致要用到的一些方法。 1. 数据…

再好的模型，如果没有好的数据和特征质量，那训练出来的效果也不会有所提高。数据质量对于数据分析而言是至关重要的，有时候它的意义会在某种程度上会胜过模型算法。 本篇开始分享如何使用Python进行数据分析，主要侧重介绍一些分析的方法和技巧，而对于pandas和numpy等Pyhon…

Kaggle作为公认的数据挖掘竞赛平台，有很多公开的优秀项目，而其中作为初学者入门的一个好的项目就是：泰坦尼克号生还者预测。 可能这个项目好多朋友也听说过，可能很多朋友也做过。但是项目完成后，是否有很好的反思总结呢？很多朋友只是潦草的敷衍过去了，知道大概的套路了就没再去看。其实…

直方图是一个可以快速展示数据概率分布的工具，直观易于理解，并深受数据爱好者的喜爱。大家平时可能见到最多就是 matplotlib，seaborn 等高级封装的库包，类似以下这样的绘图。 下面，我们来逐一介绍每种方法的来龙去脉。 当准备用纯Python来绘制直方图的时候，最简单的…

本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。 特征工程包括的内容很多，有特征清洗，预处理，监控等，而预处理根据单一特征或多特征又分很多种方法，如…

首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。 然后导入数据，并进行初步的观察，这些观察包括了解数据特征的缺失值，异常值，以及大概的描述性统计。 初步观察到一共有11个特征变量，Price 在这里是…

相信爬虫的爱好者们都经历过这样一个爬虫前期的准备过程，那就是用浏览器的审查元素进行爬取目标的定位。每次我们都要浪费部分时间去寻找定位点和xpath，这样既不很方便，也不高效，那么如何提高爬虫中这部分工作的效率呢？今天博主给大家分享一个爬虫的利器，它就是：SelectorGadg…

快两周没更新了，先跟大家说一下抱歉。最近生活上确实有点忙，不过后续将恢复正常。今天和大家聊一个非技术性的话题：转行。全篇无代码，但是我想对于这个话题，很多朋友都非常感兴趣，毕竟工作伴随着我们的一生，也是主要的收入来源，谁不想找一份高薪又有前景的工作呢？ 有些朋友对于是否该转行一…

本次将主要介绍数据集的分布可视化的使用。 当处理一个数据集的时候，我们经常会想要先看看特征变量是如何分布的。这会让我们对数据特征有个很好的初始认识，同时也会影响后续数据分析以及特征工程的方法。本篇将会介绍如何使用 seaborn 的一些工具来检测单变量和双变量分布情况。 首先还…