根据菜菜的课程进行整理，方便记忆理解
代码位置如下：
数据预处理与特征工程
数据挖掘的五大流程：
- 获取数据
- 数据预处理
- 理解
- 数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程
- 可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。
- 也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小
- 目的
- 让数据适应模型，匹配模型的需求
- 特征工程
- 特征工程是将原始数据转换为更能代表预测模型的潜在问题的特征的过程，可以通过挑选最相关的特征，提取特征以及创造特征来实现。其中创造特征又经常以降维算法的方式实现。
- 面对的问题
- 特征之间有相关性，特征和标签无关，特征太多或太小，或者干脆就无法表现出应有的数据现象或无法展示数据的真实面貌
- 目的：
- 降低计算成本
- 提升模型上限
- 建模，测试模型并预测出结果
- 上线，验证模型效果
sklearn中的数据预处理和特征工程
数据预处理 Preprocessing & Impute
数据无量纲化
在机器学习算法实践中，我们往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据无量纲化。譬如梯度和矩阵为核心的算法中，
- 逻辑回归，支持向量机，神经网络，无量纲化可以加快求解速度
- 距离类模型，譬如K近邻，K-Means聚类中，无量纲化可以帮我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成影响。
- 一个特例是决策树和树的集成算法们，对决策树我们不需要无量纲化，决策树可以把任意数据都处理得很好。
数据的无量纲化
- 可以线性
- 中心化处理（Zero-centered或者Meansubtraction）
- 中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置
- 缩放处理（Scale）
- 缩放的本质是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理
- 中心化处理（Zero-centered或者Meansubtraction）
- 可以非线性
preprocessing.MinMaxScaler
当数据(x)按照最小值中心化后，再按极差（最大值 - 最小值）缩放，数据移动了最小值个单位，并且会被收敛到[0,1]之间，而这个过程，就叫做数据归一化(Normalization，又称Min-Max Scaling)。
注意，Normalization是归一化，不是正则化，真正的正则化是regularization，不是数据预处理的一种手段。归一化之后的数据服从正态分布
在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。MinMaxScaler有一个重要参数，feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]。
- MinMaxScaler的使用过程
from sklearn.preprocessing import MinMaxScaler
import pandas as pd
# 准备数据
data = [[-1,2],[-0.5,6],[0,10],[1,18]]
data = pd.DataFrame(data)
min_max = MinMaxScaler()
min_max = min_max.fit(data)
result = min_max.transform(data)
result
"""
array([[0. , 0. ],
[0.25, 0.25],
[0.5 , 0.5 ],
[1. , 1. ]])
"""
# 可以使用一步直接
result_ = MinMaxScaler().fit_transform(data)
result_
- 对归一化的数据进行还原
# 可以使用inverse_transform将进行了归一化的数据进行回转
min_max.inverse_transform(result)
"""
array([[-1. , 2. ],
[-0.5, 6. ],
[ 0. , 10. ],
[ 1. , 18. ]])
"""
- 缩放到指定的区间
# 默认的情况下，我们得到的是[0,1]区间中的数字，我们也可以通过feature_range转化范围到[5,10]之间
f_result = MinMaxScaler(feature_range=[5,10]).fit_transform(data)
f_result
"""
array([[ 5. , 5. ],
[ 6.25, 6.25],
[ 7.5 , 7.5 ],
[10. , 10. ]])
"""
- partial_fit的使用
#当X中的特征数量非常多的时候，fit会报错并表示，数据量太大了我计算不了
#此时使用partial_fit作为训练接口
scaler = min_max.partial_fit(data)
使用numpy来实现归一化
# 使用numpy来实现归一化
import numpy as np
x = np.array([[-1,2],[-0.5,6],[0,10],[1,18]])
x_nor = (x - x.min(axis=0))/(x.max(axis=0)-x.min(axis=0))
x_nor
"""
array([[0. , 0. ],
[0.25, 0.25],
[0.5 , 0.5 ],
[1. , 1. ]])
"""
# 逆转归一化
x_returned = x_nor * (x.max(axis=0)-x.min(axis=0)) + x.min(axis=0)
x_returned
"""
array([[-1. , 2. ],
[-0.5, 6. ],
[ 0. , 10. ],
[ 1. , 18. ]])
"""
preprocessing.StandardScaler
当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放，数据就会服从为均值为0，方差为1的正态分布（即标准正态分布），而这个过程，就叫做数据标准化(Standardization，又称Z-score normalization)
- 使用过程
# 数据标准化
from sklearn.preprocessing import StandardScaler
data = np.array([[-1,2],[-0.5,6],[0,10],[1,18]])
scaler = StandardScaler()
scaler = scaler.fit(data)
# 可以通过mean_查看平均值
scaler.mean_ # array([-0.125, 9. ])
# 可以通过var_查看方差
scaler.var_ # array([-0.125, 9. ])
x_std = scaler.transform(data)
# 查看均值
x_std.mean() # 0.0
# 查看方差
x_std.var() # 1.0
# 可以一步完成，达到结果
result = scaler.fit_transform(data)
result
"""
array([[-1.18321596, -1.18321596],
[-0.50709255, -0.50709255],
[ 0.16903085, 0.16903085],
[ 1.52127766, 1.52127766]])
"""
- 对标准化的数据进行还原
# 可以通过inverse_transform进行反转回原来的数据
result_ = scaler.inverse_transform(x_std)
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示
StandardScaler和MinMaxScaler选哪个
- 看情况。大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为
MinMaxScaler对异常值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择 - MinMaxScaler
- 在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于[0,1]区间之中。
- MaxAbsScaler
- 在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时）
- RobustScaler
- 在异常值多，噪声非常大时，我们可能会选用分位数来无量纲化
