本文介绍常见运算的计算图。

计算图直观地表示了计算过程。通过观察反向传播的梯度流动，可以帮助我们理解反向传播的推导过程。

我们会利用计算图来实现自动求导工具。首先我们看一下常见运算操作的计算图。

加法

$z = x + y$求这个运算的梯度比较简单，易得$\frac{\partial z}{\partial x}=1,\frac{\partial z}{\partial y}=1$

$\frac{\partial L}{\partial z}$为经过反向传播传递到$z$节点上的梯度。

减法

由$z = x - y$ 可得$\frac{\partial z}{\partial x}=1,\frac{\partial z}{\partial y}=-1$

乘法

$z = x \times y$ 的梯度也比较简单，易得$\frac{\partial z}{\partial x}=y,\frac{\partial z}{\partial y}=x$。

此时，反向传播时会将上游传来的梯度乘以当前路径上计算出来的梯度。

除法

$z=\frac{x}{y}$的梯度稍微有点复杂，$\frac{\partial z}{\partial x} = \frac{1}{y}, \frac{\partial z}{\partial y} =-\frac{x}{y^2}$。

我们现在看到的都是单变量，其实也可以是多变量(向量、张量或矩阵)。在多变量时，只需要独立计算向量中各个元素，即，向量的各个元素独立于其他元素进行对应元素的计算。在下文的矩阵乘法时会详细介绍。

分支

严格来说，分支并不是我们常见运算的一种。但是有些情况下很有用，比如进行广播操作时。

分支是最简单的复制形式，它的反向传播是上游传来的梯度之和。

Repeat

上面的分支操作有两个副本(或者分支)，也可以扩展为$N$个副本，此时称为复制(Repeat)。

如上图，将长度为$D$的数组复制了$N$份，这个复制操作可以看成是$N$个分支操作，所以它的反向传播可以通过$N$个梯度的总和。

如果通过Numpy实现的化：

import numpy as np

D, N = 8, 7
x = np.random.randn(1,D)
y = np.repeat(x, N, axis=0) # axis=0 沿着行的方向复制N份，变成了(N,D)
# 上面是正向传播
# 下面是梯度
dy = np.random.randn(N,D) # y的梯度一定和y的维度保持一致
dx = np.sum(dy, axis=0, keepdims=True) # 同理，x的梯度也和x保持一致,这里变成了(1,D)

上图是简单介绍一下Numpy中axis的概念。当数组是1D的时候，只有一个轴，所以0轴的方向和2D的不同，要注意一下。

Numpy中的广播会复制数组的元素，可以通过这里的复制操作来表示。

Sum

Sum(求和)也是我们在深度学习中常用的运算。加法操作可以看成是求和的特殊形式。

考虑对一个$N \times D$对数组沿着第行的方向求和，此时正向传播和反向传播如下所示。

和加法一样，反向传播时将梯度(拷贝)分配到所有的箭头上，Sum操作是上面介绍的复制操作的逆向操作。即Sum的正向传播相当于复制操作的反向传播；Sum的反向传播相当于复制操作的正向传播。

我们也看一下通过Numpy实现的例子。

D, N = 8, 7
# 正向传播
x = np.random.randn(N, D)
y = np.sum(x, axis=0, keepdims=True) # 变成了(1,D)
# 反向传播
dy = np.random.randn(1, D) # 维度和y保持一致
dx = np.repeat(dy, N, axis=0) # 复制成了(N,D)

Matmul

Matmul是矩阵乘法(Matrix Multiply)，比如，考虑$y=xW$这个运算。$x,W,y$的形状分别是$1 \times D$、$D \times H$和$1 \times H$。

它的反向传播稍微有点复杂。我们先来了解下雅可比矩阵(Jacobian matrix)。

用每个$y$对每个$x$计算偏微分，计算得到的矩阵高度是$y$的个数，宽度是$x$的个数。

把$y=xW$展开得：

这里假设我们要计算$L$对$x$的导数$\frac{\partial L}{\partial x}$。

我们先计算$\frac{\partial L}{\partial y}=\left[\frac{\partial L}{\partial y_1},\frac{\partial L}{\partial y_2},\cdots,\frac{\partial L}{\partial y_H}\right]$

接着计算$y$对$x$的导数$\frac{\partial y}{\partial x}$，根据雅克比矩阵，有

看起来挺复杂，但是如果我们先把$y$中第$j$个元素$y_j$的等式写出来，就会很简单，如：

所以 $\frac{\partial y_j}{\partial x_i} = W_{ij}$，把$\frac{\partial y}{\partial x}$完整的写出来，有

所以$\frac{\partial y}{\partial x} = W^T$​ ，这就解释了为什么计算矩阵乘法的反向传播时，有个参数需要转置的。

有$\frac{\partial L}{\partial x}= \frac{\partial L}{\partial y} \frac{\partial y}{\partial x} = \frac{\partial L}{\partial y} W^T$

$x$的形状是$1 \times D$，$\frac{\partial L}{\partial x}$的形状和它保持一致，也是$1 \times D$。

$\frac{\partial L}{\partial y}$的形状和$y$一样，是$1 \times H$

$W^T$的形状是$H \times D$。

在推导上面的公式时，不要被写法的复杂所迷惑了，只要我们展开把等式写出来，或者用一个简单的比如$2 \times 3$的矩阵自己去推，就可以知道规律。

上面把$y_j = x_1 \cdot W_{1j} + x_2 \cdot W_{2j} + \cdots +x_i \cdot W_{ij}+ \cdots + x_D \cdot W_{Dj}$写出来后，计算$\frac{\partial y_j}{\partial x_i}$就很简单了，因为此时只与$x_i$有关，对于$x$剩下的元素的导数都是0，变成了$\frac{y_j}{x_i} = 0 + 0 + \cdots + W_{ij} + \cdots + 0$。

下面介绍几个简单的一元操作。

Pow

计算$y= x^c$，我们把$x$看成是变量，$c$看成是常数。只有一个变量，因此定义为一元操作。$\frac{\partial y}{\partial x}=c\cdot x^{(c-1)}$，一元操作比较简单，因此正向传播和反向传播画到一张图里面。

Log

取对数(Log)，一般指的是以指数$e$为底。$y = \log x$，那么$\frac{\partial y}{\partial x}=\frac{1}{x}$。

Exp

指数函数最简单了$y = e^x$，$\frac{\partial y}{\partial x} = e^x$，原样返回。

Neg

Neg是取负数的意思，$y=-x$，$\frac{\partial y}{\partial x} = -1$，可以理解为$y = -1 \cdot x$。