在基于深度学习的分类任务中，经常存在的一个问题就是，样本经常含有噪声（或者与当前标签无关的信息）。
为了提高强噪声下深度学习算法的特征学习能力，深度残差收缩网络（Deep Residual Shrinkage Network）将软阈值化作为可训练的非线性层，嵌入到深度残差网络（Deep Residual Network，ResNet）之中。
与此同时，深度残差收缩网络还借鉴了Squeeze-and-Excitation Network的网络结构，设计了一个子网络来自动地设置软阈值化所需要的阈值，从而避免了人工设置阈值。
1. 深度残差网络ResNet的残差模块
相较于普通的卷积神经网络，深度残差学习的核心要点，在于引入了跨层的恒等路径，使得深度学习模型的训练难度大幅降低。到目前为止，深度残差网络已经成为一种广为人知的经典方法。
深度残差网络的主体部分，是由很多残差模块堆叠而成的。其中一种典型的残差模块如下图所示：
2. Squeeze-and-Excitation Network (SENet)的基本模块
SENet也是一种经典的深度学习方法，它将特征图的全局特征“挤压”成一个小的向量，然后将这个向量输入一个子网络中，利用这个子网络获得一组权重，对特征图的各个通道进行“重标定”，也就是加权。SENet可以和ResNet相结合起来。在这个时候，SENet的基本模块如下图所示：
3. 深度残差收缩网络的基本模块
深度残差收缩网络的基本模块借鉴了上述两种模块。与ResNet相同的是，它的基本模块仍然包含恒等路径；与SENet相同的是，它的基本模块也包含了一个子网络。值得注意的是，深度残差收缩网络的基本模块中，这个子网络是用来学习得到一组阈值，用于特征图的软阈值化。
4. 深度残差收缩网络的整体网络结构
深度残差收缩网络的整体网络结构与传统的ResNet和SENet是相同的。
M. Zhao, S. Zhong, X. Fu, B. Tang, M. Pecht, Deep Residual Shrinkage Networks for Fault Diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
ieeexplore.ieee.org/document/88…
