初入数据分析大门，感觉需要补的知识太多太多。不太建议系统补齐各种知识，因为大概率会倒在半路上。 以项目为导向，梳理大概流程，对流程中所需的知识点进行大致学习，以后遇到知识盲点再回来补。 接下来我以股票分析为例来了解数据分析流程。 个人认为股票分析无非就分为获取数据、数据处理、数…

可视化图表，有相当多种，但常见的也就下面几种，其他比较复杂一点，大都也是基于如下几种进行组合，变换出来的。对于初学者来说，很容易被这官网上众多的图表类型给吓着了，由于种类太多，几种图表的绘制方法很有可能会混淆起来。 因此，在这里，我特地总结了六种常见的基本图表类型，你可以通过对…

Pandas 有很多高级的功能，但是想要掌握高级功能前，需要先掌握它的基础知识，Pandas 中的数据结构算是非常基础的知识之一了。 Pandas 常用的数据结构有两种：Series 和 DataFrame。这些数据结构构建在 Numpy 数组之上，这意味着它们效率很高。我们来…

再好的模型，如果没有好的数据和特征质量，那训练出来的效果也不会有所提高。数据质量对于数据分析而言是至关重要的，有时候它的意义会在某种程度上会胜过模型算法。 本篇开始分享如何使用Python进行数据分析，主要侧重介绍一些分析的方法和技巧，而对于pandas和numpy等Pyhon…

数据分析师常用的6大数据清洗方法。

若要独立用 Python 处理数据科学问题，Pandas 是绕不过去的。 今天，花了一上午的时间，跟着这个 Youtube 系列教程，学习了 Pandas 中级技巧。 视频来自于 Data School。发布者是 Kevin Markham 。 在这个系列视频教程里， Kevi…

当使用 pandas 操作小规模数据（低于 100 MB）时，性能一般不是问题。而当面对更大规模的数据（100 MB 到数 GB）时，性能问题会让运行时间变得更漫长，而且会因为内存不足导致运行完全失败。 尽管 Spark 这样的工具可以处理大型数据集（100 GB 到数 TB）…

本篇将继续上一篇数据分析之后进行数据挖掘建模预测，这两部分构成了一个简单的完整项目。结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。 特征工程包括的内容很多，有特征清洗，预处理，监控等，而预处理根据单一特征或多特征又分很多种方法，如…

首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。 然后导入数据，并进行初步的观察，这些观察包括了解数据特征的缺失值，异常值，以及大概的描述性统计。 初步观察到一共有11个特征变量，Price 在这里是…