本文已参与「新人创作礼」活动，一起开启掘金创作之路。
在之前文章EfficientNetV1 - 掘金 (juejin.cn)讲过EfficientNetV1，现在讲讲EfficientNetV2
EfficientNetV2：arxiv.org/abs/2104.00…
EfficientNetV2
卷积后跟有BN及silu激活函数
网络亮点
EfficientNetV2
- 引入Fused-MBConv模块
- 引入渐进式学习策略（训练更快）（该方法会根据输入图像尺寸动态调节正则方法：Dropout、Rand Augment、Mixup）
网络结构
EfficientNetV2
V1存在的问题
- 训练图像尺寸很大时，训练速度很慢
- 在网络浅层中使用DW卷积速度会很慢
- 同等的放大每个stage是次优的
Fused-MBConv模块
源码搭建中没有使用SE，可能NAS搜索的有，但是实际发现不使用更好
只有有shortcut才有Dropout
Dropout
参数
300是指最大图像尺寸为300，由于采用了渐进式的学习策略，输入尺寸是会变的，验证时候384是固定的，这里的dropout是指pooling和FC之间的失活率
渐进式学习策略
size=128时，rand augment等级为5时效果最好，size=300时，等级为15时最好
所以使用不同的训练size时，正则化方法的强度也要调整
伪代码为正则化强度如何随着图像尺寸变化的
线性插值，也就是个线性变换
