_沧海一粟

激活函数 为什么要用激活函数：不用的话，输出永远是输入的线性函数（传统的MLP），激活函数给神经网络引入了非线性元素，使神经网络能够逼近任意非线性函数，这样神经网络就可以应用到众多非线性模型中。 si

Bagging(Bootstrap+Aggregating) 每次训练多个模型，对于分类问题，每个模型输出一个类别，最后做投票选出最多的；对于回归问题，将多个模型的输出取平均 bootstrap采样：

为什么进行范数规则化 因为需要保证在最小化训练误差的同时，不发生过拟合，即保证模型不能过于复杂化，参数不能过多，所以需要规则化参数。这样得到的参数才具有好的泛化性能。 L0范数 指的向量中非0的元素的

1.多层感知机（MLP）和单层的区别 单层：用于二分类 多层：用于多分类,和softmax的区别就在于：多了隐藏层（非线性层） 2.隐藏层 隐藏层需要引入非线性激活函数以得到非线性模型，否则输出还是线

1.前向累积和反向累积的区别： （1）计算复杂度(计算每个变量的梯度)都是O(n)。 （2）对于前向累积，内存复杂度是O(1),因为计算完不需要存储；对于反向累积，内存复杂度是O(n),因为需要存储正