持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第28天，点击查看活动详情
1 卷积神经网络
2 全连接层
由许多神经元共同连接得来
3 卷积层
CNN中独特的网络结构
卷积特性：
- 拥有局部感知机制（滑动窗口）
- 权值共享（滑动过程中值保持不变）
权值共享举例：
- 普通的神经网络：
对于一张
1280*720的图片，假设hidden layer 1 神经元个数为1000, 参数个数：1280*720*1000=921600000 - 卷积神经网络：
对于一张
1280*720的图片，假设hidden layer 1 采用1000个5*5的卷积核, 参数个数：5*5*1000=25000
1.卷积核的channel与输入特征层的channel相同
2.输出的特征矩阵channel与卷积核个数相同
目的：
进行图像特征提取
激活函数
引入非线性因素，使其具备解决非线性问题的能力
- sigmoid激活函数
Sigmoid激活函数饱和时梯度值非常小，故网络层数较深时易出现梯度消失。
- Relu激活函数
缺点在于当反向传播过程中有一个非常大的梯度经过时，反向传播更新后可能导致权重分布中心小于零，导致该处的倒数始终为o，反向传播无法更新权重，即进入失活状态。
思考
-
加上偏移量bias该如何计算?
为每个卷积结果加上偏移量 -
加上激活函数该如何计算?
-
如果卷积过程中出现越界的情况该怎么办?
4 池化层
MaxPooling 下采样层
目的
对特征图进行稀疏处理，减少数据运算量
特点
- 没有训练参数
- 只改变特征矩阵的w和h，不改变channel
- 一般poolsize和stride相同
