「这是我参与11月更文挑战的第8天，活动详情查看：2021最后一次更文挑战」
局部线性嵌入(LLE)是一种非线性降维方法。
机器学习算法通过训练学习到特征来进行预测。例如，在房价预测问题中，可能有一些特征，如房子的大小、卧室的数量、浴室的数量等，机器学习模型就是通过学习这些特征来进行对房价进行预测。不过一些机器学习算法在做这件事时，面临的一个主要问题是过拟合，即模型对训练数据的拟合非常好，不过一旦到了真实测试数据时候结果就不容乐观了。
之前我们知道较少过拟合可以通过增加数据和正则化来减少过拟合。
降维有助于降低机器学习模型的复杂性，在一定程度上帮助减少过拟合。这是因为我们使用的特征越多，模型就越复杂，这可能导致模型对数据的拟合度过高，造成过拟合。也可能使用无助于决定输出标签的特征，这在现实生活中可能没有帮助。例如，在房价预测问题中，我们可能有一个像卖家年龄这样的特征，可能对房价没有任何影响。降维有助于我们在特征集中保留更重要的特征，减少预测输出所需的特征数量。
在 LLE 中首先找到点的 k 个最近的邻接数据点。将每个数据向量近似为其 k 个最近的邻接点的加权线性组合。从而计算出这些点高维空间权重，然后将这些权重应用在低维空间中对这些点的重建。
找到 K 个最近的邻接点
LLE 算法的一个优点是，只有一个参数需要调整，那就是 K 值，或者说需要考虑作为集群一部分的最近邻居的数量，K 被选得太小或太大，都无法适应原始数据的几何形状。
对于的每个数据点，计算出 K 个最近的邻接点。也就是用其邻近点加权组合来表示该样本点，也就是线性组合，以邻近点线性组合和该点之间距离最小为目标函数来学出一个权重，然后在低维空间用学到权重来重构这些数据点。
现在我们定义新的矢量空间 Y，使我们对 Y 作为在低维空间构建点的成本最小。
公式推导在随后分享中给大家呈现。
参考《Locally Linear Embedding (LLE) | Data Mining and Machine Learning》
