文章目录
本节重点
训练多层神经网络的过程：
训练过程可以分为以下步骤：
– 前馈计算：从输入层开始，计算每一层的状态和激活值，直到最后一层；
– 误差计算：计算当前实例产生的误差
– 误差反传：从输出层开始，逐层计算每个神经元的𝛿信号，并反向传播到前层
– 权重更新：根据𝛿信号，计算权重的导数，并更新参数
下面将详细介绍
一、生物神经元模型
– 通过多个树突获取信息，通过轴
突传递信号
–多个神经元之间通过轴突、树突
形成连接，构成神经元网络
– 神经元之间能够逐级传递脉冲电
位信号
– 神经元之间连接数量的多少、粗
细等生物特征表示了连接强度
神经网络的层数决定了其分类能力
– 双隐层的网络就可以解决任意复杂度的分类问题！
二、感知器算法
2.1 感知器模型的结构
2.2 感知器权重学习方法
• 我们采用的是“奖惩分明”策略
– 对于一个样本，如果当前权重能够正确判断其类型，就“奖励”当前权重，提高其比例。
– 反之，则惩罚当前权重，降低其比例。
– 如此反复，直到某个权重对所有样本均不产生错误，或者错误不再降低。
2.3 实例
2.4 感知器算法的问题和改进
2.5 人工神经元模型特点
三、前馈神经网络和BP算法
3.1 FNN结构
FNN可以看做是一个多层感知器模型
3.2 FNN问题
FNN具有多层神经元，权重的调整具有3个难点：
– 网络误差是由多层信号累积导致，如何“分配”误差到各个层？
– 隐含层神经元无法直接观测其误差，如何调整权重？
– 全连接层权重数量众多，计算量问题凸显。
四、错误反向传播（BP）算法
FNN实例
利用FNN解决MNIST问题
五、卷积神经网络
5.1 视觉通路
5.2 视觉皮层和图像卷积
5.3 实例
