一文带你彻底理解人工智能深度学习之前向传播

念旧_
274 阅读8分钟

一、什么是深度学习

人工智能（AI）深度学习是人工智能领域中一个非常活跃和快速发展的子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。截至到目前，深度学习在图像识别、语音识别、自然语言处理、自动驾驶等领域已经取得了显著的成就。

二、什么是前向传播(直观讲解)

前向传播（Forward Propagation）是深度学习中的一个重要概念，它是神经网络在训练和预测时信息流动的过程。前向传播总的来说大致也就包含两个过程，一个是对特征数据(输入数据)进行线性回归算法的线性变换，而后对这些数据再用激活函数进行逻辑回归的非线性变换。这里笔者不想引用官方或者比较机械性的定义解释，笔者想以通俗简单的形式带大家体会感受到什么是前向传播。

首先的首先，在学习或者做深度学习的过程中，最重要的一点，就是你要始终知道你要做什么东西，实现什么目标。对于深度学习神经算法模型，我们无论是用来预测还是用来分类判断，最理想的效果都是让模型计算出来的结果能够接近真实的结果。就比如说模型的目的是分类，那么当两堆数据在同一维度的时候，你就需要找到一个较好的分界线能够将这两堆数据分开，这样当我们再次输入样本数据的时候模型就能够通过判断该数据处于分界线的哪一边而对其进行分类。学过数学的都知道，在同一维度上一条直线的表达式也就是 y=kx+by=kx+b，这也就是为什么我们的前向传播中单个神经元的第一部分是对输入数据进行 wx+bwx+b 的线性处理。但是，很显然我们在该维度上所找的这一分界一般都不会只是一条单一的直线，往往很多时候分界线会是一条曲线，一个不规则图像甚至是一个圆，那么如果我们单单只是用 wx+bwx+b 这样的线性变换的话肯定是远远不够的，因此，在此基础上我们还需引入非线性因素使这条分界线能够"弯"起来。所以前向传播单个神经元的第二部分，就是对经过线性处理的特征数据使用激活函数激活数据或者模型的非线性属性，这样经过非线性处理之后再次输入下一个神经元，以此类推，经过大量的运算之后这个分界线就可以被模型渐渐描绘出来。因此，接下来的反向传播的作用也就显而易见了，就是使这个边界不断精确，不断细化。至于这个激活函数激活模型非线性的原理是什么，请关注笔者最近的文章，笔者将会对常见的几种激活函数进行详细的讲解。

三、前向传播的过程

前向传播是神经网络在接收输入数据并进行处理，最终生成输出结果的过程。这个过程涉及到数据在网络中的逐层传递，每一层都会对数据进行一定的变换。

20200309102932420.png

下面我将详细解释一下前向传播的过程(大致到输出层为止)：

1. 输入层

  • 接收数据：输入层是神经网络的第一层，它接收原始数据输入。这些数据可以是图像的像素值、文本数据、时间序列数据等。
  • 预处理：在数据传入网络之前，通常需要进行一些预处理操作，如归一化、标准化、数据增强等，以提高模型的性能和泛化能力。

2. 隐藏层

  • 加权求和：每一层的神经元（或节点）会接收来自前一层的输出作为输入。每个输入都会乘以一个权重（weight）（weight），然后加上一个偏置（bias）（bias）。 z=w⋅x+bz = w \cdot x + b 其中 zz 是加权求和的结果，ww 是权重，xx 是输入，bb 是偏置。

  • 激活函数：加权求和的结果会通过一个非线性激活函数。激活函数的选择对网络的性能有很大影响，常见的激活函数包括ReLU、Sigmoid、TanhReLU、Sigmoid、Tanh等。 a=f(z)a = f(z) 其中 aa 是激活函数的输出，ff 是激活函数。

  • 特征转换：激活函数的作用是将线性变换的结果转换为非线性，这使得网络能够学习更复杂的数据模式。没有激活函数，无论网络有多少层，其本质上都只能执行线性变换。

3. 输出层

  • 最终计算：输出层的神经元数量通常与任务的目标变量数量相匹配。例如，在分类任务中，输出层的神经元数量可能等于类别的数量。
  • 损失计算：在训练过程中，输出层的输出会与真实标签进行比较，通过损失函数（如均方误差、交叉熵损失）来计算预测误差。

4. 损失函数

  • 误差反馈：损失函数的值反映了模型的预测与实际值之间的差异。这个误差值将被用来指导网络的训练过程。

5. 反向传播

  • 梯度计算：虽然反向传播是训练过程的一部分，但它与前向传播紧密相关。在前向传播过程中，每个层的输出和激活函数的梯度都会被计算并存储，以便在反向传播时使用。

6. 参数更新

  • 权重调整：通过反向传播计算得到的梯度将用于更新网络中的权重和偏置，通常使用梯度下降或其他优化算法来实现。

4ebd66b71e302413c6bc1c0f95b87c8e.png

四、浅层神经网络代码示例

以下是一个使用Python和TensorFlow库实现的基础小型神经网络，用于解决简单的分类问题。这个网络包含一个输入层、一个隐藏层和一个输出层。

import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras.models import Sequential

# 定义简单的序列模型
model = Sequential()

# 添加一个输入层，假设输入特征维度为 64
# 这里使用 'input_shape' 参数来定义输入的形状
model.add(layers.Dense(64, activation='relu', input_shape=(64,)))

# 添加一个隐藏层，包含 32 个神经元
model.add(layers.Dense(32, activation='relu'))

# 添加一个输出层，假设是一个二分类问题，所以使用 1 个神经元和 sigmoid 激活函数
model.add(layers.Dense(1, activation='sigmoid'))

# 编译模型，指定优化器、损失函数和评估指标
model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# 打印模型概况
model.summary()

# 假设我们有一些训练数据
import numpy as np
# 随机生成一些输入数据和标签
x_train = np.random.random((1000, 64))  # 1000 个样本，每个样本 64 个特征
y_train = np.random.randint(2, size=(1000, 1))  # 1000 个标签，二分类问题

# 训练模型
model.fit(x_train, y_train, epochs=10, batch_size=32)

# 假设我们有一些测试数据
x_test = np.random.random((200, 64))  # 200 个测试样本
y_test = np.random.randint(2, size=(200, 1))  # 200 个测试标签

# 评估模型
loss, accuracy = model.evaluate(x_test, y_test)
print(f"Test accuracy: {accuracy * 100:.2f}%")

在这个示例中，我们首先导入了TensorFlow库，并创建了一个Sequential模型，这是一个线性堆叠的神经网络层。我们添加了三个层：一个输入层，一个隐藏层，和一个输出层。我们使用了Dense层，这是全连接层的一种。

  • 输入层有64个输入特征。
  • 隐藏层有32个神经元，使用ReLU激活函数。
  • 输出层有一个神经元，使用Sigmoid激活函数，因为我们假设这是一个二分类问题。

然后我们编译模型，指定Adam优化器和二元交叉熵损失函数，这是处理二分类问题的常见选择。

接下来，我们生成了一些随机的训练数据和测试数据，并使用model.fit方法训练模型。最后，我们评估了模型在测试数据上的性能。

五、总结

前向传播是神经网络处理数据的核心过程，它涉及到数据在网络中的逐层传递和变换。通过这个过程，网络能够生成对输入数据的预测或分类。前向传播的结果将被用来计算损失，然后通过反向传播来更新网络的权重和偏置，以改善模型的性能

六、Reference

blog.csdn.net/acs713/arti…

由于反向传播的过程涉及到大量的运算且较为复杂，所以笔者将在下文中为大家讲解反向传播。以上就是笔者关于深度学习神经网络的前向传播过程的讲解，欢迎大家点赞，收藏，交流和关注!O(∩_∩)O谢谢！

avatar
文章
阅读
粉丝