「这是我参与11月更文挑战的第14天，活动详情查看：2021最后一次更文挑战」

梯度下降

梯度下降的三种形式：

1、批量梯度下降（Batch Gradient Descent,BGD），梯度下降的每一步中，都用到了所有的训练样本。

2、随机梯度下降（Stochastic Gradient Descent,SGD），梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数 ，而不需要首先将所有的训练集求和。

3、小批量梯度下降（Mini-Batch Gradient Descent,MBGD） 梯度下降的每一步中，用到了一定批量的训练样本。

批量梯度下降

随机梯度下降

小批量梯度下降

计算图

计算图是用来描述计算的语言，是一种将计算形式化的方法。在计算图中，计算被表示成有向图，图中的每一个节点表示一个变量（variable），变量可以是标量（scalar）、向量（vector）、矩阵（matrix）、张量（tensor）等。图中的边表示操作（operation），即一个或多个变量的简单函数。

静态图

先搭建图，后运算，TensorFlow 是支持静态图的，需要在计算之前，先进行搭建。

动态图

运算与搭建同时进行，PyTorch 是支持动态图的，可以在进行运算的同时进行。

向量化

向量化还需要python广播。

广播, 具有扩散的特点.在数组中的广播,含义就是一个数组在另外一个数组中进行的某种运算的扩散。