PCA理论部分

携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第1天，点击查看活动详情

目前有三个理论可以解释这一事实，分别是：最大方差理论，最小错误理论和坐标轴相关度理论。我们着重讨论前两个理论。

一，最大方差理论

该理论认为理想最好的k维特征是将n维样本点转换为k维后，每一维上的样本方差都很大。

假设我们有4个样本点，它们都是经过标准化处理的。（σ=1，µ=0），那么这四个点投影到一个什么样的矢量上或者投影到某一个什么样维度上才是我们所期望的呢？下面我们通过直观的示意图来来寻找答案。

很显然黑色的投影点会给我们带来更大的方差，因此作为投影中的一个维度，蓝色线要比黄色线更合适。

我们假设单位矢量u就是我们最合适的投影直线，那么投影后的均值和方差（这里的含义是投影后的数据点到中心点距离的平均值）分别为：

均值，方差

就是我们经常提起的协方差矩阵(与理论协方差矩阵不一样额)。（此时µ=0）通常用∑来表示协方差矩阵。 用来表示。这样等式（P-1）可以化简为：

到这里我们终于得到一个令人兴奋的结果，lambda是特征值，u是与此特征值相对应的特征矢量。同时，我们还要求方差最大，即lambda要最大。如果有多个lambda都满足（p-2）我们选择最大的lambda。总之，只有最大的lambda值和其对应的特征矢量才是我们所需要的。

然而很多时候一个特征矢量对我们来说根本是不够的，比如我们把一个四维的特征矢量投影成三维特征矢量，确切地说投影到三维空间中，我们需要三个正交特征矢量才可以。正交性我们不用担心，因为协方差矩阵是对称矩阵，正交性被自动保证。而三个特征矢量该如何选呢。方法很简单，对（p-2）求解特征值，按大小顺序选择特征值，然后选择其对应特征矢量，组成投影空间就可以了。