- Conv3
- 使用大小为3的卷积核
- Spectral Norm
- GAN的谱归一化：Gan要想训练稳定进行，就需要其Discriminator的映射函数满足Lipschitz约束
- www.linkresearcher.com/theses/0a0b…
- zhuanlan.zhihu.com/p/68407048
- blog.csdn.net/StreamRock/…
- Batch Norm
- 对每一层的输入都做正则化处理， scale and shift。应对梯度消失和梯度爆炸问题
- www.zhihu.com/question/38…
- ResNet 与 Res Block
- 深度神经网络很难做到恒等映射（identity mapping），ResNet的作者提出了“学习一个等于0的函数要比学习一个恒等映射更容易”的假设。因此残差网络将恒等映射通过shortcut的方式加入网络之中，从而解决了梯度相关性的问题。
- www.zhihu.com/question/64…
- zhuanlan.zhihu.com/p/161639679
- VGG16 & VGG19
- 2014年牛津大学VGG组的工作
- 使用多层3*3的卷积层代替更大卷积核的卷积层
- zhuanlan.zhihu.com/p/41423739
