Self-challenging improves cross-domain generalization(RSC), ECCV 2020
对 resnet 最后一层输出的特征 [7,7,512],按比例 p drop 掉高梯度的特征,强制网络学到多样的特征。
特征选取方案分为 Spatial-wise RSC [7,7] 和 Channel-wise RSC [1,512]。
Informative Dropout for Robust Representation Learning: A Shape-bias Perspective, ICML 2020
CNN 在做分类时容易关注 texture 而不是 shape,本文认为 texture 包含较少的信息量,而 shape 区域往往含有较大的信息量(类似边缘检测),因此,在训练时 drop 掉信息量少的区域有助于驱使模型更关注物体的形状。
这种鲁棒的表征学习方式在 domain generalization, few-shot classification, image corruption, and adversarial perturbation 这些任务上均取得了一定的效果。
Cross-domain gated learning for domain generalization, IJCV 2022
Cross-domain Gating Branch 利用其它域训练的模型对当前域数据的特征得到一个 mask,drop 掉特征 domain-specific 的部分
Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters, ICCV 2023
选取 drop 的区域时根据 gradient-signal-to-noise ratio (GSNR)
PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for Domain Generalization, TOMCCAP 2023
大部分现有方法只在一些具体的层上做 dropout,本文则聚焦多层,会随机选取一层并随机选取一些通道做 drop 操作
Domaindrop: Suppressing domain-sensitive channels for domain generalization, ICCV 2023
本文观察到有一些通道对不同域是很敏感的,因此设计方法来定位这些通道并 drop 掉