前向传播:Forward Propagation

前向传播顾名思义，就是从输入层到输出层计算和存储神经网络中每层的结果。

• 计算复杂度:O(n)
• 内存复杂度:O(n)

后向传播:Backward Propagation

反向传播指的是计算神经网络参数梯度的方法。

• 该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络，存储了梯度。
• 如果某一部分不参与运算，可以剪除不需要的枝。
• 计算复杂度:O(n)
• 内存复杂度:O(1)

自动求导实现