在数据清洗过程中，主要处理的是缺失值，异常值和重复值。所谓清洗，是对数据进行丢弃，填充，替换，去重等操作，实现去除异常，纠正错误，补足缺失的目的。

1. 数据列缺失的4种处理方法

数据缺失分为2种：

行记录的缺失，这种情况又称为数据记录丢失；
数据列值的丢失，即由于各种原因导致的数据记录种某些列的值缺失。

这里重点讨论数据列类型缺失值的处理，通常有4种处理思路：

丢弃
补全相对于丢弃而言，补全是更加常用的缺失值处理方式，常用的补全方法有：
- 统计法：对于数值行的数据，使用均值，加权均值，中位数等方法补足；对于分类型数据，使用类别众数最多的值补足。
- 模型法
- 专家补全法
- 其他方法
真值转换法
不处理在数据预处理阶段，对于具有缺失值的数据记录不做处理，也是一种思路。这种思路主要看后期的数据分析和建模应用，很多模型对于缺失值有容忍度或灵活的处理方法，因此在预处理阶段可以不做处理。常见的能自动处理缺失值的模型如下：
- 忽略，缺失值不参与距离计算，例如KNN；
- 将缺失值作为分布的一种状态，并参与到建模过程，例如各种决策树及其变体；
- 不基于距离做计算，因此基于值的距离做计算，本身的影响就消除，例如DBSCAN。

2. 不要清洗抛弃异常数据

2.1 异常值正常反映了业务运营结果

2.2 异常检测模型

2.3 包容异常值的数据建模

3. 数据重复需要去重吗

以下几种情况，请慎重（不建议）执行数据去重。

重复的记录用于分析演变规则
重复的记录用于样本不均衡处理
重复的记录用于检测业务规则问题

1. 缺失值处理

import pandas as pd # 导入Pandas库
import numpy as np # 导入Numpy库
from sklearn.preprocessing import Imputer # 导入sklearn.preprocessing中的Imputer库

# 生成缺失数据
df = pd.DataFrame(np.random.randn(6, 4), columns=['col1','col2','col3','col4']) # 生成一份数据

df.iloc[1, 1] = np.nan #增加缺失值
df.iloc[4, 3] = np.nan
print(df)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689       NaN  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749       NaN
5  0.615499  0.138902 -0.523084 -0.608018

# 查看哪些值缺失
nan_all = df.isnull() # 获取所有数据框中的N值
print(nan_all) # 打印输出

    col1   col2   col3   col4
0  False  False  False  False
1  False   True  False  False
2  False  False  False  False
3  False  False  False  False
4  False  False  False   True
5  False  False  False  False

# 获得含有NA的列
nan_col = df.isnull().any()  # 查找含有至少1个缺失值的列，any()方法用来返回指定轴中的任何元素为True
print("获得含有NA的列")
print(nan_col)

获得含有NA的列
col1    False
col2     True
col3    False
col4     True
dtype: bool

# 获得全部为NA的列
nan_col2 = df.isnull().all() # 查找全部缺失值的列，其中all()方法用来返回指定轴的所有元素都为True
print("获取全部为NA的列")
print(nan_col2)

获取全部为NA的列
col1    False
col2    False
col3    False
col4    False
dtype: bool

1.1丢弃缺失值

df2 = df.dropna() # 直接丢弃含有NA的行记录
print(df2)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
5  0.615499  0.138902 -0.523084 -0.608018

1.2 补全缺失值

1.2.1 使用sklearn将缺失值替换为特定值

使用Sklearn的数据预处理方法对缺失值进行处理，首先通过创建Imputer方法创建一个预处理对象，参数说明如下：

strategy: 为默认缺失值的字符串，默认为NaN,strategy的值可以是mean（均值），median（中位数），most_frequent;
axis: 用来设置输入的轴，默认值为0，即使用列做计算逻辑。

nan_model = Imputer(missing_values='NaN', strategy='mean', axis=0) # 建立替换规则：将值为Nan的缺失值用均值做替换
nan_result = nan_model.fit_transform(df) # 应用模型规则
print(nan_result)

[[-1.00285617 -0.07899506 -0.60695655 -1.62471244]
 [ 0.04468906 -0.15452215  1.39967806  1.34189211]
 [-0.25801157 -0.34136463  0.12636506 -2.01033919]
 [-0.76607272  0.03276415  0.03368498 -0.68469122]
 [ 0.38592178 -0.52391692  1.2277487  -0.7171737 ]
 [ 0.61549888  0.13890169 -0.5230837  -0.60801774]]

1.2.2 使用Pandas将缺失值替换为特定值

Pandas对缺失值的处理方法是df.fillna()，该方法中最主要的两个参数是：value和method。前者通过固定的值（或手动指定）替换缺失值，后者通过使用Pandas提供的默认方法替换缺失值，以下是methods支持的方法：

pad和ffill：使用前面的值替换缺失值
backfill和bfill：使用后面的值替换缺失值

# 用后面的值替换缺失值
nan_result_pd1 = df.fillna(method='backfill') 
print(nan_result_pd1)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.341365  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.608018
5  0.615499  0.138902 -0.523084 -0.608018

# 用后面的值替换缺失值，限制每列只能替换一个缺失值
nan_result_pd2 = df.fillna(method='bfill', limit=1) 
print(nan_result_pd2)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.341365  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.608018
5  0.615499  0.138902 -0.523084 -0.608018

# 用前面的值替换缺失值
nan_result_pd3 = df.fillna(method='pad') 
print(nan_result_pd3)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.078995  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.684691
5  0.615499  0.138902 -0.523084 -0.608018

# 用0替换缺失值
nan_result_pd4 = df.fillna(0) 
print(nan_result_pd4)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689  0.000000  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749  0.000000
5  0.615499  0.138902 -0.523084 -0.608018

# 用不同值替换不同列的缺失值
nan_result_pd5 = df.fillna({'col2':1.1, 'col4':1.4}) 
print(nan_result_pd5)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689  1.100000  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749  1.400000
5  0.615499  0.138902 -0.523084 -0.608018

# 用平均数代替，选择各自列的均值替换缺失值
nan_result_pd6 = df.fillna(df.mean()['col2':'col4']) 
print(nan_result_pd6)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.154522  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.717174
5  0.615499  0.138902 -0.523084 -0.608018

# 使用replace方法替换缺失值
nan_result_pd7 = df.replace(np.nan, 0)
print(nan_result_pd7)

       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689  0.000000  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749  0.000000
5  0.615499  0.138902 -0.523084 -0.608018

2. 异常值处理

有关异常值的确定有很多规则和方法,这里使用Z标准化得到的阈值作为判断标准，当标准化后的得分超过阈值则为异常。

import pandas as pd # 导入Pandas库

#生成异常数据
df = pd.DataFrame({'col1':[1, 120, 3, 5, 2, 12, 13], 'col2':[12, 17, 31, 53, 22, 32, 43]})
print(df)

   col1  col2
0     1    12
1   120    17
2     3    31
3     5    53
4     2    22
5    12    32
6    13    43

2.1 通过Z-Score方法判断异常值

df_zscore = df.copy() # 复制一个用来存储Z-Score得分的数据框
cols = df.columns # 获得数据框的列名
print(cols)
for col in cols: # 循环读取每列
    df_col = df[col] # 得到每列的值
    z_score = (df_col - df_col.mean()) / df_col.std() # 计算每列的z-score得分
    df_zscore[col] = z_score.abs() > 2.2 # 判断Z-Score得分是否大于2.2，如果是则为True，否则则为False
print(df_zscore)

Index(['col1', 'col2'], dtype='object')
    col1   col2
0  False  False
1   True  False
2  False  False
3  False  False
4  False  False
5  False  False
6  False  False

上述示例中，阈值的设定是确定异常与否的关键，通常当阈值大于2时，已经是相对异常的表现值。 &emsp；在判断异常值主要考虑的关键点是： $\color{red}{如何判断异常值}$ 。对于有固定业务规则的可以直接套用业务规则，而对于没有固定业务规则的，可以采用常见的数据模型进行判断，即基于概率分布的模型（例如正态分布的标准差范围），基于聚类的方法（例如KMeans），基于密度的方法（例如LOF），基于分类的方法（KNN），基于统计的方法（例如分位数法）等，此时异常值的定义带有较强的主观判断色彩，具体需要根据实际情况选择。

3. 重复值处理

import pandas as pd 

# 生成重复数据
data1 = ['a', 3]
data2 = ['b', 2]
data3 = ['a', 3]
data4 = ['c', 2]
df = pd.DataFrame([data1, data2, data3, data4], columns=['col1','col2'])
print(df)

  col1  col2
0    a     3
1    b     2
2    a     3
3    c     2

3.1 判断重复数据

isDuplicated = df.duplicated() # 判断重复数据记录
print(isDuplicated)

0    False
1    False
2     True
3    False
dtype: bool

3.2 删除重复值

3.2.1 删除数据记录中所有列值相同的记录

new_df1 = df.drop_duplicates() # 删除数据记录中所有列值相同的记录
print(new_df1)

  col1  col2
0    a     3
1    b     2
3    c     2

3.2.2 删除数据记录中col1值相同的记录

new_df2 = df.drop_duplicates(['col1'])
print(new_df2)

  col1  col2
0    a     3
1    b     2
3    c     2

3.2.3 删除数据记录中col2值相同的记录

new_df3 = df.drop_duplicates(['col2'])
print(new_df3)

  col1  col2
0    a     3
1    b     2

3.2.4 删除数据记录中指定列（col1/col2）值相同的记录

new_df4 = df.drop_duplicates(['col1','col2'])
print(new_df4)

  col1  col2
0    a     3
1    b     2
3    c     2

4. 技术点总结

通过pd.DataFrame新建数据框；
通过df.iloc[]来选择特定的列或对象；
使用Pandas的isnull()判断值是否为空；
使用all()和any()判断每列是否包含至少1个为True或者全部为True的情况；
使用Pandas的dropna()直接删除缺失值。
使用Sklearn.preprocessing中的Imputer方法对缺失值进行填充和替换，支持3种填充方法：mean（均值），median（中位数），most_frequent（众数）；
使用Pandas的fillna填充缺失值，支持更多自定义的值和常用预定义法；
通过copy获取一个对象副本，常用于原始对象和复制对象同时进行操作的场景；
通过for循环遍历可迭代的列表值。
自定义Z-Score计算公式；
通过Pandas的duplicated()判断重复数据记录；
通过Pandas的drop_duplicates()删除重复记录，可指定特定的列或全部。

数据清洗：缺失值，异常值和重复值的处理