进阶媛小吴

嘿，太累了，就休息一会吧。Vit是在公开数据集ImageNet-21k和Google自家的数据集JFT-300M上做预训练。结果发现大规模的预训练毕归纳偏置好。

SKNet的思想就是利用非线性的方法整合信息，以实现动态调整感受野的大小，就是根据实际内容，找出一个最适合的感受野去适应图片。它的核心方法是Split-Fuse-Select这三个步骤。

小样本学习和元学习基础知识 人工智能最终依赖于大数据中学习。很难用很少的数据快速概括一个模型。相反，人类可以快速应用他们过去学到的东西来学习新事物。一个重要的方向是缩小人工智能与人类之间的差距。

一个可嫁接/整合的Block 。SENet对卷积层通道数进行权值评分，可以很好与其他网络(VGG, ResNet)结合。

DenseNet在ResNet的基础上，进一步扩展网络连接，对于网络的任意一层，该层前面所有层的feature map都是这层的输入，该层的feature map是后面所有层的输入。

使用三个残差和一个Inception-v4的集合，在ImageNet classification (CLS)挑战的测试集上实现3.08%的top-5 错误。

提出3个技巧，结合Inception，奠定Inception系列最常用模型——Inception-V3

ImageNet分类的最佳发布结果：达到4.9%的top-5验证错误（和4.8%的测试错误），超过了人类评估者的准确度。

R-CNN作为第一个将RPN理念与CNN结合的论文，在后续不断改进，诞生了Faster-RCNN，Mask-RCNN等一系列经典模型，所以是一篇入门CV必读的经典论文。