_星期五__

集成学习（ensemble learning）通过构建多个个体学习器并结合起来完成学习任务。 由上面的式子可以得到，个体分类器的数目越大。错误率将指数级下降，最终变为0。 要获得好的集成，个体学习器应该“好而不同”，要有一定的“准确性”，即学习器不能太坏，并且要有多样性，之间具…

形式统一能够简化推导过程中不必要的复杂性。其他的形式都可以归约到这样的标准形式，例如一个 可以转化为 等。假如 全都是凸函数，并且 全都是仿射函数（就是形如 Ax+b 的形式），那么这个问题就叫做凸优化（Convex Optimization）问题。凸优化问题有许多优良的性质，…

比如将x1和x2的超平面 变为 的高阶多项式函数。我们将映射函数设为 . 我们对一个二维空间做映射，选择的新空间是原始空间的所有一阶和二阶的组合，得到了五个维度；如果原始空间是三维，那么我们会得到 19 维的新空间（验算一下？），这个数目是呈爆炸性增长的，这给 ϕ(⋅) 的计算…

给定样本点,超平面,超平面关于该样本点的函数间隔即为，定义超平面关于整个数据集T的超平面的函数间隔为为超平面关于所有样本点的函数间隔最小值。函数间隔能有效表示分类预测的正确性及确信度。 但是，对于一个超平面来说，通过缩放变换（成倍的放大缩小w，b），超平面并没有改变，但是函数间…

定义:从一个可行解中找到一个最好的元素。 凸规划都是相对容易解决的，非凸规划比较难解决。 半正定：就是特征值>=0,但是通常来说特征值太难求。我们可以通过 假如X属于R，对于任意X，都要满足 0" class="equation" src="https://juejin.im/…

感知机不能实现异或这样简单的非线性可分问题。 逻辑斯蒂比感知机的优点在于对于激活函数的改进。 前者为sigmoid function，后者为阶跃函数。这就导致LR是连续可导，而阶跃函数则没有这个性质。 LR使得最终结果有了概率解释的能力（将结果限制在0-1之间），sigmoid…