机器学习

本文为《机器学习》西瓜书第2、5、9章第学习笔记，与原书第区别在于对关键知识点进行了内容提炼和给出了较为详细的公式推导，针对经典聚类算法，给出了自己的精简复现代码。

所谓机器学习，是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”。机器学习方法的分类，根据所处理的数据种类的不同，可以分为监督学习、无监督学习和强化学习。

K 近邻算法（KNN）是一种基本分类和回归方法。KNN 算法的核心思想是如果一个样本在特征空间中的 k 个最相邻的样本中的大多数属于一个类别，那该样本也属于这个类别，并具有这个类别上样本的特性。

模型容量是指模型拟合各种函数的能力，决定了模型是欠拟合还是过拟合。 欠拟合就是指模型的训练误差过大，即偏差过大，表现为模型不够”准“，优化算法目的在于解决欠拟合问题。

深度学习是机器学习的一个特定分支。我们要想充分理解深度学习，必须对机器学习的基本原理有深刻的理解。本文大部分内容参考《深度学习》书籍，从中抽取重要的知识点，并对部分概念和原理加以自己的总结。