主成分分析(PCA)随记

Principal Component Analysis

基于方差查找方差最大的方向，方差越大的方向 数据更容易分开，数据分的越开 更易于对其分类。
和LDA降维一样都有些问题，会有一些信息丢失，降维后的数据代表什么是不知道的(丢失了原来的物理意义)。

向量的表示及基变换：

向量内积相当于做了一个投影的操作。

向量(3,2)是在x轴上有个投影和在y轴上有个投影。
有了一组基之后，在x轴方向和y轴方向，这组基都是单位向量。

基变换：

线性无关是指：x轴的数据不会影响y轴的数据，y轴的数据也不会影响x轴的数据。

基变换的理解： www.bilibili.com/video/av650…

协方差矩阵：

假设均值为0的目的是：每一列的数据减去均值使每列特征都以0为中心化。

优化目标：

实例：