3.3 数据清洗与合并
数据预处理包含了数据清洗 (data cleansing) 与特征工程 (feature engineering) ，本节主要介绍的是数据清洗部份，主要目的是将原始数据转换成整洁的、组织合理的形式以供后续的特征工程使用。而数据清洗的工作内容很多，举例来说：
- 基础运算 (basic) － 选择、过滤、删除重复项。
- 取样 (Sampling) － 基于绝对、相对或是概率。
- 数据划分 (Data Partitioning) － 将数据集划分为训练、验证、测试数据集。
- 装箱 (Binning) － 这是用于减少微小观测误差影响的技术，常见的应用如直方图 (Histograms)。
- 转换 (Transformations) － 如标准化，标准化，缩放，旋转。
- 数据替换 (Data Replacement) － 剪切、拆分、合并。
- 插补 (Imputation) － 使用统计算法替换缺失的观察值。
- 加权 (Weighting) － 属性加权。
本节将会介绍基础运算中的过滤、找出缺失值、删除重复项以及数据替换中的剪切、拆分、合并。
3.3.1 泰坦尼克号竞赛 - 数据过滤
以 Kaggle 上著名的泰坦尼克号竞赛的中所提供的数据集来练习，这是一个数据科学有名的竞赛网站，而这个泰坦尼克号竞赛是透过网站所提供的数据来预测，哪些人的生存几率高。透过 info() 函数可以得知这个数据集有 891 笔数据，共有 12 个栏位。
titanic 数据集说明
| 栏位 | 说明 |
|---|---|
| survival | 是否存活 |
| pclass | 船票等级 |
| sex | 性别 |
| Age | 年龄 |
| sibsp | 船上兄弟姐妹的人数 |
| parch | 船上父母、儿女的人数 |
| ticket | 票号 |
| fare | 船运票价 |
| cabin | 船舱号码 |
| embarked | 上船的港口 |
import pandas as pd
import numpy as np
dataDir = './data/titanicTrain.csv'
df = pd.read_csv(dataDir)
df.info()
输出结果为：
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 PassengerId 891 non-null int64
1 Survived 891 non-null int64
2 Pclass 891 non-null int64
3 Name 891 non-null object
4 Sex 891 non-null object
5 Age 714 non-null float64
6 SibSp 891 non-null int64
7 Parch 891 non-null int64
8 Ticket 891 non-null object
9 Fare 891 non-null float64
10 Cabin 204 non-null object
11 Embarked 889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB
接着过滤男性，且年龄在20岁以下的乘客，过滤结果共有 102 位。
df[(df['Age']<=20) & (df['Sex']=='male')]
输出结果为：
PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked
7 8 0 3 Palsson, Master. Gosta Leonard male 2.0 3 1 349909 21.0750 NaN S
12 13 0 3 Saundercock, Mr. William Henry male 20.0 0 0 A/5. 2151 8.0500 NaN S
16 17 0 3 Rice, Master. Eugene male 2.0 4 1 382652 29.1250 NaN Q
27 28 0 1 Fortune, Mr. Charles Alexander male 19.0 3 2 19950 263.0000 C23 C25 C27 S
50 51 0 3 Panula, Master. Juha Niilo male 7.0 4 1 3101295 39.6875 NaN S
... ... ... ... ... ... ... ... ... ... ... ... ...
844 845 0 3 Culumovic, Mr. Jeso male 17.0 0 0 315090 8.6625 NaN S
850 851 0 3 Andersson, Master. Sigvard Harald Elias male 4.0 4 2 347082 31.2750 NaN S
869 870 1 3 Johnson, Master. Harold Theodor male 4.0 1 1 347742 11.1333 NaN S
876 877 0 3 Gustafsson, Mr. Alfred Ossian male 20.0 0 0 7534 9.8458 NaN S
877 878 0 3 Petroff, Mr. Nedelio male 19.0 0 0 349212 7.8958 NaN S
102 rows × 12 columns
在上述的数据中，可以发现舱位 (Cabin) 栏位很多是没有填写的 (NaN)，如果分析者认为这个栏位对于在灾难发生时是没有影响的，可以选择删除，但如果这个栏位是有影响的，那在清洗过程，必须让所有的值是有意义的，所以我们必须先找出缺失值，然后替换成有意义的值。首先我们先找出在所有数据中有几个舱位，利用 Pandas 的聚合函数 groupby() 可以找出所有的数据并排序，发现共有 147 个舱位
# 依序列出所有数据
df[['Cabin']].groupby(['Cabin'],sort=True).count()
输出结果为：
Cabin
A10
A14
A16
A19
A20
...
F33
F38
F4
G6
T
147 rows × 0 columns
我们可以用 duplicated() 来找出重复行，第一次出现的为 False，如果再出现一次就视为重复，所以就设定为 True，以下以 'Sex' 栏位来进行重复行检验，可以发现它的重复次数为 889，因为第一次出现的 0 与 1 并不会被记录
len(df[df['Sex'].duplicated()])
输出结果为：
889
