[深度思考]·证明softmax不受输入的数据偏移影响
证明softmax不受输入的常数偏移影响,即softmax(x)=softmax(x+c)
也就是证明加了偏移c之后,对整个softmax层的作用不起影响。如下:

这有什么用处?
可以有效防止数据溢出
如何应用?

对任意a都成立,这意味着我们可以自由地调节指数函数的指数部分,一个典型的做法是取 中的最大值:a=max{x1,x2.....xn}
这可以保证指数最大不会超过0,于是你就不会上溢出。即便剩余的部分下溢出了,加了a之后,也能得到一个合理的值。