深度学习

目标检测的输出是目标的边界框，其中边界框用于定位图像中的目标对象。要构建算法检测图像中目标周围的边界框，就必须首先创建输入-输出映射，其中输入是图像，而输出是给定图像中目标周围的边界框。

基于策略迭代的强化学习算法可以细分为两个部分：策略评估和策略改进。算法从一个随机策略开始，并且在每次迭代中计算出给定策略的策略值；然后从所得的策略值中提取改进的策略。

基于值迭代的强化学习算法的核心思想与策略评估非常类似，它也是一种迭代算法。从任意策略值开始，然后根据 Bellman 最优方程迭代更新值，直到它们收敛为止。

FrozenLake 是典型的具有离散状态空间的 Gym 环境，在此环境中，智能体需要在网格中从起始位置移动到目标位置，同时应当避开陷阱。

策略评估是一种迭代算法。它以任意策略值开始，然后根据Bellman期望方程式迭代更新值函数，直到收敛为止。在每次迭代中，状态的策略值都会得到更新。

马尔科夫决策过程涉及智能体和决策过程。除了一组可能的状态外，马尔科夫决策过程还包括一组动作、状态转移函数、奖励函数和折扣因子。本节中主要介绍如何实现马尔科夫决策过程并在最佳策略值函数。

马尔可夫链描述了一系列符合马尔可夫性质的事件，它由一组可能的状态和转移矩阵定义，本文主要介绍了马尔科夫链的基本概念和性质，并使用PyTorch模拟实现了一个简单的马尔科夫链。

在本节中，我们对输入图像略微进行一些修改，但并不以改变图像的标签为目标，本节的目标是令修改后的图像比原始图像更具艺术感。本节所介绍算法也是我们之后将要介绍的神经风格迁移技术的核心。

对抗攻击已经成为威胁深度学习模型广泛应用的重要问题，本节将研究如何调整输入图像，以使深度学习模型对图像输出完全不同的类别，即使修改后的图像在人眼看来与原始图像并无差别。

策略梯度算法通过记录回合中的所有时间步并基于回合结束时与这些时间步相关联的奖励来更新权重训练智能体。使智能体遍历整个回合然后基于获得的奖励更新策略的技术称为蒙特卡洛策略梯度。

在随机搜索策略中，每个回合都是独立的。因此，随机搜索中的所有回合都可以并行运行，最终选择能够得到最佳性能的权重在本节中，我们将介绍爬山算法，以将在一个回合中学习到的知识转移到下一个回合中。

在本节中，将介绍一种比随机选择动作更复杂的策略来解决 CartPole 问题——随机搜索策略。将智能体对环境的观测值映射到代表两个动作的二维向量，然后选择值较高的动作执行。

交通标志识别作为驾驶辅助系统与无人驾驶车辆中不可缺少的技术，在自动驾驶等应用中具有重要作用，在节中，我们将学习使用卷积神经网络实现交通标志识别。

在计算机视觉中，面部关键点(也称为面部特征点)的定位通常是许多面部分析方法和算法中的关键步骤。在本节中，我们将训练卷积神经网络来检测面部的关键点。

在本节中，我们将学习如何提取模型中各种卷积核学习到的内容特征。此外，我们将对比开始几个卷积层中的卷积核学习到的内容与最后几个卷积层中的卷积核学习到的内容。

迁移学习是指将一个预训练的模型重新用于另一个任务中。在本节中，我们将学习如何利用 VGG16 预训练网络进行性别分类。

本节中，我们介绍了一种称为数据增强的技术用于提高神经网络准确率。使用 CIFAR-10 数据集，对比不使用数据增强的模型，模型性能得到了极大的提升。

本节中，构建并训练了一个用于进行性别分类的卷积神经网路模型，并未使用任何提升CNN模型的优化技术，CNN模型就可以以90%以上的准确率完成性别分类任务，充分展示了CNN模型的强大拟合能力。

在卷积神经网络(Convolutional Neural Network, CNN)基础中，我们了解了传统神经网络的问题以及CNN的工作原理。在本节中，我们将构建CNN模型用来识别MNIST手写数字。

为了进一步加深对卷积神经网络(CNN)的理解，本文使用Keras构建基于CNN的体系结构，并通过使用Keras和Numpy从输入开始构建CNN前向传播过程获得输出，来增强我们对CNN的理解。