Zekegu1997

李宏毅老师课程链接 对于seq2seq的问题，可以选择用RNN或者CNN来解决，但是RNN无法做到平行的处理一个序列，也很难处理一个很长的序列。而CNN则需要多层才能看到比较多的信息。 而self-attention可以解决这些问题。构建self-attention，首先将输入x...

李宏毅老师课程链接 为能够把神经网络放到移动端设备或者能进行实时计算，就需要压缩网络的大小提高效率。 一个庞大的网络中，其实有很多节点和权重几乎是没有作用的，那么压缩网络最直接的方式当然就是把这些没用的剪掉。网络剪枝的大概步骤如下： 首先要训练好一个较大的网络，然后评估网络中每个...

李宏毅老师课程链接 深度学习的网络往往是一个黑盒子，就是说我们并不知道里面发生了什么，怎么发生的，只知道结果如何。 所以我们要想一些办法来了解深度学习的网络究竟是怎么运作的。在计算机视觉的领域，这似乎是比较直觉且容易做到的。比如图像识别，我们就可以通过某种办法改变图像的某些部分，...

课程链接 半监督学习的原理跟我们自己学习辨认物体是很接近的，小时候可能父母长辈会在某次见到猫狗时告诉你这个是猫，这个是狗。但是之后就不会每次都告诉了，而实际上猫狗的形态多种多样，我们之后每次看到不同形态的猫狗时，即使没有人告诉，也能自己完成分类。 用少部分的带标签的数据，和大部分...

RNN的基本特点就是拥有储存上一次节点的输出结果的能力。这样一来，网络的循环迭代之间就是有关系的，即便是同样的输入集合，只要改变其输入序列，输出结果就会完全不一样。 因为这个特点，RNN可以处理文字序列（理解一段话的意思）。如下图所示，我们可以把两句话里的每个单词分别按次序输入一...

卷积神经网络常用于图像识别和图像处理的领域 它在进行图像识别时有三个优势： 一是可以识别只占图像一小部分的某个特征图样， 二是可以识别在不同区域出现的同一种特征， 三是对图像做缩放而不影响识别的结果。 这三种性质分别是卷积和最大池化带来的。假设有一个黑白图像（黑为1，白为0），和...

之前介绍了Adagrad方法，就是根据当前梯度来决定学习率的大小。 当函数模型比较复杂扭曲时，仅根据当前梯度是不够的，可能还要参考之前的梯度大小。RMSProp就是这样一种方法，它的公式如下 公式中的α是自己设定的参数。在梯度下降的过程中可能会最终停在鞍点或局部极小点的问题。实际...

课程链接 只有当在训练数据上准确率高，而在测试数据上准确率很低时才是出现了过拟合现象。解决过拟合需要从模型上下手。 如果在训练数据上就表现的不好，那么应当是在模型训练上出了问题。在网络中sigmoid会使输入值的作用变小，当层数越深，这种影响就越明显。这个问题也称为梯度消失。为了...

课程链接 曾经有人证明了，用一层隐藏层的神经网络就可以表示任何函数。那么多层的深度网络是否还有必要呢？ 要回答这个问题，实际上也就是要阐述深度学习的意义和优势。假如我们要分类长发女，长发男，短发女，短发男。直接训练这四类的数据来分类可能是比较困难的，因为长发男的数据相对较少。 但...