海树

在数据清洗过程中，主要处理的是缺失值，异常值和重复值。所谓清洗，是对数据进行丢弃，填充，替换，去重等操作，实现去除异常，纠正错误，补足缺失的目的。

聚类常用于数据探索或挖掘前期，在没有做先验经验的背景下做的探索性分析，也适用于样本量较大情况下的数据预处理工作。例如针对企业整体的用户特征，在未得到相关只是或经验之前先根据数据本身特点进行用户分群

Pandas Merge pandas 的merge方法提供了一种类似于SQL的内存链接操作，官网文档提到它的性能会比其他开源语言的数据操作（例如R）要高效。

Python Matplotlib可视化学习 Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用，提供了一种有效的 MatLab 开源替代方案。 它也可以和图形工具包一起

基本统计分析又叫描述性统计分析，一般统计某个变量的最小值，第一个四分位值，中值，第三个四分位值以及最大值。 描述性统计分析函数为describe，该函数返回值有均值，标准差，最大值，最小值，分位数等。

Pandas：数据分析与处理，分组分析：分组分析是指根据分组字段将分析对象划分成不同的部分，以对比分析各组之间差异性的一种分析方法。常用的统计指标有：计数，求和，平均值。

数据模型记分卡是一种积极，有效的数据模型质量评价方法。 在数据建设初期使用记分卡可以有效降低返工几率，即便一些新手也可以对数据模型提出改进意见。

数据分层的原因 首先从宏观上来讲，数据分层是为了更好的去组织、管理、维护和使用数据。为了达到以上目的，采用了数据解耦的方式来实现，而数据分层就是解耦的方式之一，另外一种方式就是主题域划分。

对于数据仓库的理解，数据仓库解决什么问题？ 数据仓库可以理解为一个大的数据集合，它的功能是面向数据分析和决策支持； 数据仓库不生产数据，它所有的数据都是同步自业务系统，而众多业务系统数据会面临

背景 公司业务整合，指标管理混乱，数据不一致问题严重，另外指标的开发和迭代效率也比较低； 举措：进行集团指标认证，数据指标重新开发； 建设前 面临的问题 指标非常多，业务复杂，变化快； 人少，排期紧张