肖永威

我们在设计、训练Tensorflow神经网络时，无论是简易的BP神经网络，还是复杂的卷积神经网络、循环神经网络，都要面临梯度爆炸、梯度消失，以及数据越界等一系列问题，这也是计算机资源和数学原理所决定。

我最近研究多层LSTM在时序业务场景中的应用，基于Tensorflow框架实现的时候，如果把激活函数由默认tanh换成Relu时，出现梯度爆炸及难于训练问题，通过权重初始化、梯度修剪解决梯度爆炸问题。