数据分析—缺失值处理

import numpy as np
import pandas as pd
__author__='莫叹'

#生成一个表格型的二维数组
df=pd.DataFrame({'a':[34,6,20,np.nan,56],
               'b':['juejin','number','one','good',np.nan]})

输出如下：

判断数据中是否存在缺失值以及非缺失值数据筛选：

#判断二维数组df是否缺失
print(df.notnull(),'\n')
#通过索引判断a列是否缺失
print(df['a'].notnull(),'\n')
#筛选a列不存在缺失值数组
print(df[df['a'].notnull()])

输出如下：

       a      b
0   True   True
1   True   True
2   True   True
3  False   True
4   True  False 

0     True
1     True
2     True
3    False
4     True
Name: a, dtype: bool 

      a       b
0  34.0  juejin
1   6.0  number
2  20.0     one
4  56.0     NaN

缺失值删除

通过上面的notnull布尔序列值筛选也是缺失值删除的一种方法

缺失值的删除需要按照具体数据情况和业务情况来处理，有时候需要删除全部缺失数据，有时候需要删除部分缺失数据，有时候只是需要删除指定缺失数据。

删除缺失值的方法：dropna(axis)

• 默认参数axis = 0，为删除行数据，当参数axis = 1删除列数据（但是一般不会选择axis=1，如果为1，则直接删除了一整个变量数据）
• 传入thresh=n时保留至少有n个非NaN数据的行

#生成一个表格型二维数组
df2=pd.DataFrame([[1,2,3],['juejin',np.nan,np.nan],['a','b',np.nan],[np.nan,np.nan,np.nan],['d','j','h']],
                 columns=list('ABC'))
print(df2,'\n')
#删除所有存在缺失值的行
print(df2.dropna(),'\n')
#删除部分存在缺失值的行，保留至少有n个非NaN数据的行(比如保留至少有一个非NaN数据的行)
print(df2.dropna(thresh=1),'\n')
#删除某一列存在缺失值的行（删除A列里存在缺失值的所有的行，和上面的布尔值序列筛选相同）
print(df2[df2['A'].notnull()])

输出如下：

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
3     NaN  NaN  NaN
4       d    j    h 

   A  B  C
0  1  2  3
4  d  j  h 

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
4       d    j    h 

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
4       d    j    h

缺失值填充/替换

填充方法：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

• value参数：填充值
• method参数： pad / ffill → 用之前的数据填充，backfill / bfill → 用之后的数据填充

替换方法：replace(to_replace=None, value=None, inplace=False, limit=None, regex=False, method='pad', axis=None)

• to_replacec参数：被替换的值
• value参数：替换值
  

使用举例如下：

import copy
df3=pd.DataFrame([[1,2,3],['juejin',np.nan,np.nan],['a','b',np.nan],['k',np.nan,np.nan],['d','j','h']],
                 columns=list('ABC'))
df4=copy.deepcopy(df3)
print(df3,'\n')
#缺失值全部用 0 填充
print(df3.fillna(0),'\n')
#method=‘pad’，使B列每一个缺失值用缺失值的前一个值填充
df3['B'].fillna(method='pad',inplace=True)
print(df3,'\n')
#用replace替换
print(df4,'\n')
df4.replace(np.nan,'juejin',inplace = True)
print('将缺失值替换为juejin\n',df4)

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
3       k  NaN  NaN
4       d    j    h 

        A  B  C
0       1  2  3
1  juejin  0  0
2       a  b  0
3       k  0  0
4       d  j  h 

        A  B    C
0       1  2    3
1  juejin  2  NaN
2       a  b  NaN
3       k  b  NaN
4       d  j    h 

        A    B    C
0       1    2    3
1  juejin  NaN  NaN
2       a    b  NaN
3       k  NaN  NaN
4       d    j    h
将缺失值替换为juejin
         A       B       C
0       1       2       3
1  juejin  juejin  juejin
2       a       b  juejin
3       k  juejin  juejin
4       d       j       h

缺失值插值

上面讲到缺失值的填充，但是在实际的数据处理过程中，对于缺失值的处理不是随便找个数据全部填充，而是有针对性的对每个局部缺失值进行插值填充。

这里选择几种常用的具有代表性的缺失值插值方法：

• 中位数/众数/平均值插值
• 临近值插值
• 拉格朗日值插值