本文已参与「新人创作礼」活动，一起开启掘金创作之路。

引言

上一期，我们介绍了softmax函数的C++实现，但是考虑到sigmoid和tanh函数也是带$e$的次幂，所以现在我们来考虑该函数的防止溢出实现。

sigmoid函数

原理

该函数的公式为：

在$x\geq 0$的时候，$e^{-x} \leq 1$，不会溢出，但是在$x < 0$的时候，就有可能溢出了。所以在$x<0$时，我们可以做如下变换：

这样$e^x<1$，也不会溢出了。

实现

    double sigmoid(double x)
    {
        if (x > 0)
            return 1.0 / (1.0 + exp(-x));
        else
            return exp(x) / (1.0 + exp(x));
    }

tanh函数

原理

该函数的公式为：

那么在$x$很大或者很小时，都有可能溢出，所以我们分开考虑。

1、$x\geq0$时

这时$e^x$可能溢出，$e^{-x}<1$不会溢出。我们进行如下变换：

1、$x<0$时

这时$e^{-x}$可能溢出，$e^{x}<1$不会溢出。我们进行如下变换：

这样就都不会溢出了。

实现

    double tanh(double x)
    {
        if(x > 0)
            return (1-exp(-2*x))/(1+exp(-2*x));
        else
            return (exp(2*x)-1)/(1+exp(2*x));
    }