在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集进行丢弃、填充、替换、去重等操作，实现去除异 常、纠正错误、补足缺失的目的。 数据缺失分为两种：一是行记录的缺失，这种情况又称数据记录丢失；二是数据列值的缺失，即由于各种原因导致的数据记录中某些列的值空缺…

在 Pandas基本功能详解 | 轻松玩转Pandas（2） 介绍了 Pandas 中常用的一些功能，使得我们对 Pandas 的使用有了基本的了解。这一章节我们来看下如何使用Pandas处理缺失值。 在了解缺失值（也叫控制）如何处理之前，首先要知道的就是什么是缺失值？直观上理…

导语：本文详细的解释了机器学习中，经常会用到数据清洗与特征提取的方法PCA，从理论、数据、代码三个层次予以分析。 机器学习，这个名词大家都耳熟能详。虽然这个概念很早就被人提出来了，但是鉴于科技水平的落后，一直发展的比较缓慢。但是，近些年随着计算机硬件能力的大幅度提升，这一概念慢…

I. 使用公式 II. 常用Excel函数 III. 统计分析函数实战 IV. 其他部分实用函数索引 DATEDIF 函数 : 计算两个日期之间的天数、月数或年数。 此函数在用于计算年龄的公式中很有用。 IFS 函数: 检查是否满足一个或多个条件，且是否返回与第一个 TRUE …

寻找事物特征的数据集合的代表值或中心值，反映事物目前所处的位置和发展水平。通过对集中趋势指标的多次测量和比较，可以说明事物的发展和变化趋势。 算术平均数，主要用于定距数据[1]，例如，人均收入。也能用于定类数据[2]和定序数据[3]，前提条件是是否具有现实意义，例如，平均分排名…

任何数据科学项目的核心是...噔噔噔...数据！以可靠和可重复的方式准备数据是该过程的基本部分。如果你正在培训一个模型，计算分析，或者只是将来自多个源的数据组合到另一个系统中，那么你将需要构建一个数据处理或 ETL1 管道。 我们 Stitch Fix 这里从事的是全栈数据科学…

正则表达式对数据处理而言非常重要。近日，Dataquest 博客发布了一篇针对入门级数据科学家的正则表达式介绍文章，通过实际操作详细阐述了正则表达式的使用方法和一些技巧。

再好的模型，如果没有好的数据和特征质量，那训练出来的效果也不会有所提高。数据质量对于数据分析而言是至关重要的，有时候它的意义会在某种程度上会胜过模型算法。 本篇开始分享如何使用Python进行数据分析，主要侧重介绍一些分析的方法和技巧，而对于pandas和numpy等Pyhon…

本篇继续分享数据清洗中的另一个常见问题：异常值检测和处理。 在机器学习中，异常检测和处理是一个比较小的分支，或者说，是机器学习的一个副产物，因为在一般的预测问题中，模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完…