从零开始学习神经网络前向传播前向传播过程，是按神经网络从输入层到输出层的顺序计算神经网络中每层的结果，最终得到网络输出，

一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第5天，点击查看活动详情。

从零开始构建前向传播

为了了解前向传播的工作方式，我们将通过一个简单的示例来构建神经网络，其中神经网络的输入为 (1, 1)，对应的输出为 0。

我们使用的神经网络具有一个隐藏层，一个输入层和一个输出层。由于要使输入层能够以更大的维度表示，因此隐藏层中的神经元数量多于输入层中的神经元。

计算隐藏层节点值

第一次进行正向传播时，首先需要为所有连接分配权重，这些权重是基于高斯分布随机选择的，但是神经网络训练过程之后的最终权重不需要服从特定分布，假定初始网络权重如下：

初始网络权重

接下来，我们将输入与权重相乘以计算隐藏层中隐藏单元的值，隐藏层的节点单位值计算结果如下：

h_1=1\times 0.8+1\times 0.2 = 1\\ h_2=1\times 0.4+1\times 0.9 = 1.3\\ h_3=1\times 0.3+1\times 0.5 = 0.8

下图展示了计算隐藏层的节点值后的网络示意图：

隐藏层的计算

在以上步骤中，我们计算了隐藏节点的值。为简单起见，我们并未在隐藏层的节点中添加偏置项。接下来，我们将通过激活函数传递隐藏层的值，以便在输出中增加非线性。

NOTE：如果我们不在隐藏层中应用非线性激活函数，则神经网络本质上将成为从输入到输出线性连接。

应用激活函数

可以在网络中的多个网络层中应用激活函数，使用它们可以实现高度非线性，这对于建模输入和输出之间的复杂关系非常关键。在我们的示例中，使用 Sigmoid 激活函数如下所示：

sigmoid(x)=\frac 1 {1+e^{-x}}

通过将 Sigmoid 激活函数应用于隐藏层，我们得到以下结果：

final\_h_1 = sigmoid(1.0) = 0.73\\ final\_h_2 = sigmoid(1.3) = 0.78\\ final\_h_3 = sigmoid(0.8) = 0.69

下图展示了隐藏层的应用非线性激活函数后节点值的情况：

激活函数

关于更多激活函数的介绍，参考《深度学习常用激活函数》。

计算输出层值

现在我们已经计算了隐藏层的值，最后将计算输出层的值。在下图中，我们将隐藏层值通过随机初始化的权重值连接到输出层。计算隐藏层值和权重值乘积的总和，得到输出值：

output = 0.73\times 0.3+0.79\times 0.5 + 0.69\times 0.9= 1.235

使用隐藏层值和权重值，我们可以得到网络的输出值，如下图所示：

网络输出值

因为第一次正向传播使用随机权重，所以输出神经元的值与目标相差很大，相差为 +1.235 (目标值为0)。

计算损失值

损失值(也称为成本函数)是在神经网络中优化的值。为了了解如何计算损失值，我们分析以下两种情况：

连续变量预测
分类(离散)变量预测

在连续变量预测过程中计算损失

通常，当预测值为连续变量时，损失函数使用平方误差，也就是说，我们尝试通过更改与神经网络相关的权重值来最小化均方误差：

$J(\theta)=\frac 1 m \sum _{i=1} ^m(h(x_i)-y_i)^2$

其中， $y_i$ 是实际值， $h(x)$ 是我们对输入 $x$ 进行变换以获得预测值 $y$ 的网络模型， $m$ 是输入数据集中的数据个数。

在分类(离散)变量预测中计算损失

当要预测的变量是离散变量时(也就是说，变量中只有几个类别)，我们通常使用分类交叉熵损失函数。当要预测的变量具有两个不同的值时，损失函数为二分类交叉熵，而当要预测的变量具有多个不同的值时，损失函数为多分类交叉熵。

二分类交叉熵公式如下：

(ylog(p)+(1−y)log(1−p))

多分类交叉熵定义如下：

其中， $y$ 是输入实际对应的真实值， $p$ 是输出的预测值， $n$ 是数据量的总数。

计算网络损失值

由于我们在以上示例中预测的结果是连续的，因此损失函数值是均方误差，其计算方法如下：

error = 1.235^2 = 1.52

使用 Python 实现网络前向传播

通过以上学习，我们知道了通过在输入数据之上执行以下步骤以在前向传播中可以得出误差值：

随机初始化权重
通过将输入值乘以权重来计算隐藏层节点值
对隐藏层值执行激活
将隐藏层值连接到输出层
计算平方误差损失

计算所有数据点的平方误差损失值：

import numpy as np
def feed_forward(inputs, outputs, weights):
     pre_hidden = np.dot(inputs,weights[0])+ weights[1]
     hidden = 1/(1+np.exp(-pre_hidden))
     out = np.dot(hidden, weights[2]) + weights[3]
     squared_error = (np.square(pred_out - outputs))
     return squared_error

在前面的函数中，我们将输入变量值、权重(如果是第一次迭代，则随机初始化)以及数据集中的实际输出作为 feed_forward 函数的输入。我们通过对输入和权重进行矩阵乘法来计算隐藏层的值。此外，将偏置值添加到隐藏层中：

pre_hidden = np.dot(inputs,weights[0])+ weights[1]

其中 weights[0] 是权重值，weights[1] 是偏置值，利用此权重和偏置就可以将输入层连接到隐藏层。计算隐藏层的值后，就可以在隐藏层的值上使用激活函数：

hidden = 1/(1+np.exp(-pre_hidden))

通过将隐藏层的输出乘以将隐藏层连接到输出的权重，然后在输出上添加偏置项，来计算隐藏层的输出：

pred_out = np.dot(hidden, weights[2]) + weights[3]

一旦计算出输出，我们就可以计算出每一输入的平方误差损失，如下所示：

squared_error = (np.square(pred_out - outputs))

在前面的代码中，pred_out 是预测输出，而 outputs 是输入应对应的实际输出。通过以上简单的步骤，我们便可以在网络前向传播时计算损失值。