数据归一化

数据处理之 数据归一化 数据标准化（归一化）-Normalization

来自百度百科的解释：

数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。

通俗的说就是把所有的数据“按比例”增大缩小到某个范围 归一化就是把范围限制在0~1

1、min-max标准化(Min-maxnormalization) 也叫离差标准化、线性归一化，对原始数据的线性变换，使结果落到[0,1]区间 $x^{'}_{i}=\frac{x_{i}-min(x_{j})(0\le{j}\le{n})}{max(x_{j})(0\le{j}\le{n})-min(x_{j})(0\le{j}\le{n})}$

优点：适用在数值较集中的情况 缺点：当有新数据加入时，可能导致max和min的变化，不稳定

2.z-score 标准化(zero-meannormalization) 也称标准差归一化，也叫Z-score标准化 $x'=\frac{x-μ}{σ}$ $μ：均值---μ=\frac{1}{n}\sum_{i=1}^{n}x_{i}$ $σ：标准差--σ=\sqrt {\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-μ)^{2}}$ 经过处理后的数据符合标准正态分布，即均值为0，标准差为1

3.非线性归一化

$log函数转换 \ \ \ \ x'_{i}=\frac{lg(x_{i})}{max(x_{j})(0\le{x}\le{n)}}$

$arctan函数变换\ \ \ \ x_{i}'=arctan(x_{i})*\frac{\pi}{2}$

$sigmoid函数\ \ \ \ S(x)=\frac{1}{1+e^{-x}}$

深度学习中的一些归一化可参考：t.csdn.cn/Z0lEZ 简而言之，归一化的目的就是使得预处理的数据被限定在一定的范围内（比如[0,1]或者[-1,1]），从而消除奇异样本数据导致的不良影响。

1）在统计学中，归一化的具体作用是归纳统一样本的统计分布性。归一化在01之间是统计的概率分布，归一化在-1+1之间是统计的坐标分布。

2）奇异样本数据是指相对于其他输入样本特别大或特别小的样本矢量（即特征向量），譬如，下面为具有两个特征的样本数据x1、x2、x3、x4、x5、x6（特征向量—>列向量）,其中x6这个样本的两个特征相对其他样本而言相差比较大，因此，x6认为是奇异样本数据。