数据清洗:缺失值,异常值和重复值的处理

·  阅读 1179

 在数据清洗过程中,主要处理的是缺失值,异常值和重复值。所谓清洗,是对数据进行丢弃,填充,替换,去重等操作,实现去除异常,纠正错误,补足缺失的目的。

1. 数据列缺失的4种处理方法

 数据缺失分为2种:

  • 行记录的缺失,这种情况又称为数据记录丢失;
  • 数据列值的丢失,即由于各种原因导致的数据记录种某些列的值缺失。

这里重点讨论数据列类型缺失值的处理,通常有4种处理思路:

  1. 丢弃
  2. 补全 相对于丢弃而言,补全是更加常用的缺失值处理方式,常用的补全方法有:
    • 统计法:对于数值行的数据,使用均值,加权均值,中位数等方法补足;对于分类型数据,使用类别众数最多的值补足。
    • 模型法
    • 专家补全法
    • 其他方法
  3. 真值转换法
  4. 不处理 在数据预处理阶段,对于具有缺失值的数据记录不做处理,也是一种思路。这种思路主要看后期的数据分析和建模应用,很多模型对于缺失值有容忍度或灵活的处理方法,因此在预处理阶段可以不做处理。常见的能自动处理缺失值的模型如下:
    • 忽略,缺失值不参与距离计算,例如KNN;
    • 将缺失值作为分布的一种状态,并参与到建模过程,例如各种决策树及其变体;
    • 不基于距离做计算,因此基于值的距离做计算,本身的影响就消除,例如DBSCAN。

2. 不要清洗抛弃异常数据

2.1 异常值正常反映了业务运营结果

2.2 异常检测模型

2.3 包容异常值的数据建模

3. 数据重复需要去重吗

以下几种情况,请慎重(不建议)执行数据去重。

  1. 重复的记录用于分析演变规则
  2. 重复的记录用于样本不均衡处理
  3. 重复的记录用于检测业务规则问题

1. 缺失值处理

import pandas as pd # 导入Pandas库
import numpy as np # 导入Numpy库
from sklearn.preprocessing import Imputer # 导入sklearn.preprocessing中的Imputer库

# 生成缺失数据
df = pd.DataFrame(np.random.randn(6, 4), columns=['col1','col2','col3','col4']) # 生成一份数据

df.iloc[1, 1] = np.nan #增加缺失值
df.iloc[4, 3] = np.nan
print(df)

复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689       NaN  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749       NaN
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 查看哪些值缺失
nan_all = df.isnull() # 获取所有数据框中的N值
print(nan_all) # 打印输出
复制代码
    col1   col2   col3   col4
0  False  False  False  False
1  False   True  False  False
2  False  False  False  False
3  False  False  False  False
4  False  False  False   True
5  False  False  False  False
复制代码
# 获得含有NA的列
nan_col = df.isnull().any()  # 查找含有至少1个缺失值的列,any()方法用来返回指定轴中的任何元素为True
print("获得含有NA的列")
print(nan_col)


复制代码
获得含有NA的列
col1    False
col2     True
col3    False
col4     True
dtype: bool
复制代码
# 获得全部为NA的列
nan_col2 = df.isnull().all() # 查找全部缺失值的列,其中all()方法用来返回指定轴的所有元素都为True
print("获取全部为NA的列")
print(nan_col2)


复制代码
获取全部为NA的列
col1    False
col2    False
col3    False
col4    False
dtype: bool
复制代码

1.1丢弃缺失值

df2 = df.dropna() # 直接丢弃含有NA的行记录
print(df2)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
5  0.615499  0.138902 -0.523084 -0.608018
复制代码

1.2 补全缺失值

1.2.1 使用sklearn将缺失值替换为特定值

 使用Sklearn的数据预处理方法对缺失值进行处理,首先通过创建Imputer方法创建一个预处理对象,参数说明如下:

  • strategy: 为默认缺失值的字符串,默认为NaN,strategy的值可以是mean(均值)median(中位数)most_frequent;
  • axis: 用来设置输入的轴,默认值为0,即使用列做计算逻辑。
nan_model = Imputer(missing_values='NaN', strategy='mean', axis=0) # 建立替换规则:将值为Nan的缺失值用均值做替换
nan_result = nan_model.fit_transform(df) # 应用模型规则
print(nan_result)
复制代码
[[-1.00285617 -0.07899506 -0.60695655 -1.62471244]
 [ 0.04468906 -0.15452215  1.39967806  1.34189211]
 [-0.25801157 -0.34136463  0.12636506 -2.01033919]
 [-0.76607272  0.03276415  0.03368498 -0.68469122]
 [ 0.38592178 -0.52391692  1.2277487  -0.7171737 ]
 [ 0.61549888  0.13890169 -0.5230837  -0.60801774]]
复制代码

1.2.2 使用Pandas将缺失值替换为特定值

 Pandas对缺失值的处理方法是df.fillna(),该方法中最主要的两个参数是:value和method。前者通过固定的值(或手动指定)替换缺失值,后者通过使用Pandas提供的默认方法替换缺失值,以下是methods支持的方法:

  • pad和ffill:使用前面的值替换缺失值
  • backfill和bfill:使用后面的值替换缺失值
# 用后面的值替换缺失值
nan_result_pd1 = df.fillna(method='backfill') 
print(nan_result_pd1)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.341365  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.608018
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 用后面的值替换缺失值,限制每列只能替换一个缺失值
nan_result_pd2 = df.fillna(method='bfill', limit=1) 
print(nan_result_pd2)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.341365  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.608018
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 用前面的值替换缺失值
nan_result_pd3 = df.fillna(method='pad') 
print(nan_result_pd3)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.078995  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.684691
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 用0替换缺失值
nan_result_pd4 = df.fillna(0) 
print(nan_result_pd4)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689  0.000000  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749  0.000000
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 用不同值替换不同列的缺失值
nan_result_pd5 = df.fillna({'col2':1.1, 'col4':1.4}) 
print(nan_result_pd5)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689  1.100000  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749  1.400000
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 用平均数代替,选择各自列的均值替换缺失值
nan_result_pd6 = df.fillna(df.mean()['col2':'col4']) 
print(nan_result_pd6)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689 -0.154522  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749 -0.717174
5  0.615499  0.138902 -0.523084 -0.608018
复制代码
# 使用replace方法替换缺失值
nan_result_pd7 = df.replace(np.nan, 0)
print(nan_result_pd7)
复制代码
       col1      col2      col3      col4
0 -1.002856 -0.078995 -0.606957 -1.624712
1  0.044689  0.000000  1.399678  1.341892
2 -0.258012 -0.341365  0.126365 -2.010339
3 -0.766073  0.032764  0.033685 -0.684691
4  0.385922 -0.523917  1.227749  0.000000
5  0.615499  0.138902 -0.523084 -0.608018
复制代码

2. 异常值处理

 有关异常值的确定有很多规则和方法,这里使用Z标准化得到的阈值作为判断标准,当标准化后的得分超过阈值则为异常。

import pandas as pd # 导入Pandas库

#生成异常数据
df = pd.DataFrame({'col1':[1, 120, 3, 5, 2, 12, 13], 'col2':[12, 17, 31, 53, 22, 32, 43]})
print(df)
复制代码
   col1  col2
0     1    12
1   120    17
2     3    31
3     5    53
4     2    22
5    12    32
6    13    43
复制代码

2.1 通过Z-Score方法判断异常值

df_zscore = df.copy() # 复制一个用来存储Z-Score得分的数据框
cols = df.columns # 获得数据框的列名
print(cols)
for col in cols: # 循环读取每列
    df_col = df[col] # 得到每列的值
    z_score = (df_col - df_col.mean()) / df_col.std() # 计算每列的z-score得分
    df_zscore[col] = z_score.abs() > 2.2 # 判断Z-Score得分是否大于2.2,如果是则为True,否则则为False
print(df_zscore)
复制代码
Index(['col1', 'col2'], dtype='object')
    col1   col2
0  False  False
1   True  False
2  False  False
3  False  False
4  False  False
5  False  False
6  False  False
复制代码

 上述示例中,阈值的设定是确定异常与否的关键,通常当阈值大于2时,已经是相对异常的表现值。  在判断异常值主要考虑的关键点是:如何判断异常值\color{red}{如何判断异常值} 。对于有固定业务规则的可以直接套用业务规则,而对于没有固定业务规则的,可以采用常见的数据模型进行判断,即基于概率分布的模型(例如正态分布的标准差范围),基于聚类的方法(例如KMeans),基于密度的方法(例如LOF),基于分类的方法(KNN),基于统计的方法(例如分位数法)等,此时异常值的定义带有较强的主观判断色彩,具体需要根据实际情况选择。

3. 重复值处理

import pandas as pd 

# 生成重复数据
data1 = ['a', 3]
data2 = ['b', 2]
data3 = ['a', 3]
data4 = ['c', 2]
df = pd.DataFrame([data1, data2, data3, data4], columns=['col1','col2'])
print(df)
复制代码
  col1  col2
0    a     3
1    b     2
2    a     3
3    c     2
复制代码

3.1 判断重复数据

isDuplicated = df.duplicated() # 判断重复数据记录
print(isDuplicated)
复制代码
0    False
1    False
2     True
3    False
dtype: bool
复制代码

3.2 删除重复值

3.2.1 删除数据记录中所有列值相同的记录

new_df1 = df.drop_duplicates() # 删除数据记录中所有列值相同的记录
print(new_df1)
复制代码
  col1  col2
0    a     3
1    b     2
3    c     2
复制代码

3.2.2 删除数据记录中col1值相同的记录

new_df2 = df.drop_duplicates(['col1'])
print(new_df2)
复制代码
  col1  col2
0    a     3
1    b     2
3    c     2
复制代码

3.2.3 删除数据记录中col2值相同的记录

new_df3 = df.drop_duplicates(['col2'])
print(new_df3)
复制代码
  col1  col2
0    a     3
1    b     2
复制代码

3.2.4 删除数据记录中指定列(col1/col2)值相同的记录

new_df4 = df.drop_duplicates(['col1','col2'])
print(new_df4)
复制代码
  col1  col2
0    a     3
1    b     2
3    c     2
复制代码

4. 技术点总结

  1. 通过pd.DataFrame新建数据框;
  2. 通过df.iloc[]来选择特定的列或对象
  3. 使用Pandas的isnull()判断值是否为空;
  4. 使用all()和any()判断每列是否包含至少1个为True或者全部为True的情况;
  5. 使用Pandas的dropna()直接删除缺失值。
  6. 使用Sklearn.preprocessing中的Imputer方法对缺失值进行填充和替换,支持3种填充方法:mean(均值),median(中位数),most_frequent(众数)
  7. 使用Pandas的fillna填充缺失值,支持更多自定义的值和常用预定义法;
  8. 通过copy获取一个对象副本,常用于原始对象和复制对象同时进行操作的场景;
  9. 通过for循环遍历可迭代的列表值。
  10. 自定义Z-Score计算公式;
  11. 通过Pandas的duplicated()判断重复数据记录;
  12. 通过Pandas的drop_duplicates()删除重复记录,可指定特定的列或全部。
分类:
人工智能
标签:
收藏成功!
已添加到「」, 点击更改