深度学习

传统深度前馈神经网络的局限性之一是它并不满足平移不变性，另外，传统的神经网络受对象大小的影响。卷积神经网络的提出正是用于解决传统神经网络的这些缺陷。

PyTorch 是科学计算和机器学习库，张量是 PyTorch 中的核心数据结构，类似于NumPy中的ndarray。本文中，我们介绍 PyTorch 中的基本知识，以便在之后的强化学习实战中使用。

为了更专注于学习强化学习的思想，而不必关注其底层的计算细节，我们首先搭建相关深度学习环境，主要包括 Python 以及 PyTorch，同时我们使用 Gym 作为强化学习基准环境库。

我们已经学习了使用神经网络进行音频、文本等非结构化数据和房价、信用等结构化数据分析的相关任务。在本节中，我们通过学习股价预测任务研究时间序列数据的分析问题。

在前面的部分中，我们已经了解了在结构化数据集以及非结构化文本数据上执行建模的策略。在本节中，我们将学习如何在输入为音频的情况下执行分类任务。

在先前的应用实战中，我们分析了结构化的数据集，即数据集中包含变量及其对应实际输出值。在本项目实战中，我们将处理一个以文本作为输入的数据集，并且预期的输出是文本相关的主题。

在本节中，我们将分析在给定时间点跟踪客户收入、支出等属性的数据集，并尝试预测客户是否存在违约的可能性。

在本节中，我们将通过尝试预测房屋的价格来研究连续输出问题，以可能影响房屋价格的13个变量作为输入。我们的目的是最大程度地减少我们预测房屋价格的误差。探索神经网络的实际应用。

过拟合是深度学习常见的问题，在这种情况下，神经网络在训练数据的表现十分优秀，但在测试集上性能却比测试集相差甚远，这是由于神经网络对训练数据中噪声数据也进行了学习，本节讲解过拟合的现象与相应的解决方法。

在原始神经网络以及之后的一些改进中，一直使用 Adam 优化器，默认学习率为 0.0001。在本节中，将学习率设置为更高的数值，并查看更改学习率对模型准确率的影响。

深度神经网络意味着在输入层和输出层间存在多个隐藏层。多个隐藏层确保神经网络可以学习输入和输出之间的复杂非线性关系，而简单的神经网络则无法完成这样的需求。

利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。

输入值的不同分布可以改变训练速度。在本节中，我们将了解如何通过修改输入值以缩短训练时间，更快地训练权重。

在神经网络的训练过程中，批大小是一个重要的超参数，选择合适的批大小能够使模型在保证泛化能力的同时更加稳定的收敛。在本节中，我们将研究改变批大小对准确率的影响。

缩放数据集是一个在网络训练之前提前对数据进行处理的过程，限制数据集中的数据范围，以确保它们不会分布在较大的区间。通常，缩放输入数据集能够提高神经网络的性能表现，是常用的数据预处理方法之一。

通过在输入和输出之间堆叠多个全连接层的网络称为多层感知机，有时会被通俗的称之为香草神经网络(即原始神经网络)。为了了解如何训练香草神经网络，我们将训练模型预测 MNIST 数据集中的数字标签。

我们已经学习了神经网络的构建基础，了解了神经网络的训练流程。在本节中，我们将使用 Keras 库构建神经网络，该库提供了很多实用工具，可以简化构建复杂神经网络的过程。

反向传播每次将神经网络中的每个权重进行少量更改。权重值的变化将对最终损失值(增加或减少的损失)产生影响，我们需要朝着减少损失的方向更新权重。

前向传播过程，是按神经网络从输入层到输出层的顺序计算神经网络中每层的结果，最终得到网络输出，为了能够更好的理解前向传播，本节将通过一个简单的示例来构建神经网络。

激活函数是神经网络构建过程中的重要技术，本文对深度学习中常用激活函数进行详解，以更好地根据不同需要选择不同的激活函数用于网络训练，提高模型训练速度和准确率。