背景

反向传播训练（Backpropagation）一个神经网络是一种常见的方法。网上并不缺少介绍反向传播是如何工作的论文。但很少包括一个用实际数字的例子。这篇文章是我试图解释它是如何工作的和一个具体的例子。
大家可以对比自己的计算,以确保他们正确理解反向传播。

Python 实现反向传播算法

您可以到 Github 尝试我写的一个反向传播算法Python脚本。

反向传播算法可视化

一个交互式可视化显示神经网络学习过程, 可以看看我的神经网络可视化网站。

额外的资源

果你发现本教程有用,想继续学习神经网络及其应用,我强烈推荐看看Adrian Rosebrock的优秀教程Getting Started with Deep Learning and Python

概述

对于本教程,我们将使用一个有 2 个输入神经元、2 个隐藏的神经元和 2 个输出神经元的神经网络。此外,隐藏层和输出层将包括一个偏差神经元（Bias）。
这里的基本结构:

为了一些数字,这是初始权重,偏差,和训练输入/输出:

反向传播的目标是优化神经网络的权重,这样神经网络可以学习如何正确将任意输入映射到输出。
本教程的剩余部分我们要处理一个训练集:给定输入0.05和0.10,我们希望神经网络输出0.01和0.99。

前向传播

让我们看看目前神经网络给定的偏差、权重和输入的0.05和0.10。为此我们要养活这些输入提前虽然网络。

我们算出每个隐藏神经元的总输入，再利用总输入作为激活函数(这里我们使用 Sigmoid 函数)的变量，然后在输出层神经元重复这一步骤。

这是我们如何计算h1总输入:

然后使用 Sigmoid 函数计算h1输出：

同理得h2输出：

我们对输出层神经元重复这个过程，使用隐层神经元的输出作为输入。
这是o1的输出:

同理得o2输出：

计算总误差

我们现在可以计算每个输出神经元平方误差和：

例如,o1预期输出为 0.01，但实际输出为0.75136507，因此他的误差是：

重复这个过程得到o2(预期输出是0.99)的误差是

因此，神经网络的总误差为

反向传播过程

反向传播的目标是更新连接的权重以使每个神经元的实际输出更加接近预期输出，从而减少每个神经元以及整个网络的误差。

输出层

考虑一下ω5，我们希望知道ω5的改变对误差的影响有大多，称为

（误差对ω5求偏导数）
根据我们所知道的链式法则得出：

可视化我们所做的事情

我们需要弄清楚这个等式的每一部分。
首先，o1的输出变化对总误差的影响有多大？

我们用总误差对
求偏导数时，
的值变为 0 ，因为
不会影响o2的误差。

下一步，o1总输入的变化对于o1的输出的影响有多大？

最后，计算 ω5的变化对o1总输入的影响有多大？

将这三者放在一起：

Delta规则——权值的修正量等于误差乘以输入
我们也可以将这个计算过程组合成 δ规则的形式：
（1）
令
（2）
因为

所以
（3）

联立（1）（2）（3）得

为了减少误差，我们从当前权重减去这个值（学习率可自定义，这里我们设置为0.5）：

重复这个过程，我们可以得到权重 ω6, ω7, 和 ω8：

我们在得到新的隐藏层神经元的输入权重之后再更新 ω6, ω7, 和 ω8（也就是说，在进行反向传播的时候我们使用旧的权重值）

隐藏层

接下来,我们将继续向后传播，计算新值ω1, ω2, ω3, 和 ω4。
全局来说，我们需要计算

可视化：

我们要用类似计算输出层那样的过程,但略有不同的是：每个隐层神经元的输出会对多个输出神经元的输出和误差产生印象。我们知道out_h1将同时影响out_o1和out_o2（为方便表示，这里用下划线表示下标，下同）。因此

需要同时考虑out_h1对每个输出神经元的影响：

先从

开始：

我们之前计算过

：

然后

=ω5，因为：

讲两者代入

得：

同理得：

因此，

现在我们计算好了

。

然后我们计算

：

接下来我们计算h1的总输入对ω1求偏导数：

综上所述，

你也可以这么写

现在我们可以更新ω1了：

重复该过程计算 ω1, ω2, 和 ω3：

最后,我们已经更新所有的权重! 我们最初提出 0.05 和 0.1 的输入,网络上的误差为 0.298371109 。第一轮反向传播之后,现在总误差降至 0.291027924 。它可能看起来没有调整太多。但是在这个过程重复 10000 次之后，比如说，误差降到0.000035085。在这一时刻，当我们输入0.05和0.1时，两个输出神经元分别输出0.015912196 ( vs 预期 0.01) and 0.984065734 (vs 预期 0.99) 。

如果你做到这一步，发现任何错误或者能想到更通俗易懂的说明方法，请加我公众号 jinkey-love 交流。

英文原文链接