1、起源
如果你经常留意api，你会发现一些这样的激活函数：
2、优点
从上面的激活函数可以看出，这些函数都加了一个hard，他和原来的soft的区别就是soft函数比如softmax，softtanh都是平滑函数，而加了hard之后，这些函数都会变成分段的直线函数，那么究竟这样做有什么好处呢？
段落：
剖析：
**** 从上面论文描述可以看出，这些函数和soft函数，也就是非分段函数，非直线函数在准确率上没有明显的区别，但是呢，在部署方面有很大的优势：
（1）减少了内存的访问次数，从而降低了时间延迟成本
