Unsupervised Feature Learning via Non-Parametric Instance-levelDiscrimination.

Zhirong Wu et.al. arxiv, 2018, (link).

模型方面

• backbone为Resnet50。
• 损失函数为NEC loss
• 整个过程更新模型参数和min_bacth在Memory Bank中对应的特征。

文章亮点

• 引入个体判别任务

  • 每一个instance都看成一个类别

  • 正样本为图片本身

  • 负样本为数据集其他图片，映射到128维存在memory bank里。

    前向传播过程中是从memory bank中随机抽取一些负样本出来。原论文是抽取了4096个负样本。

• Proximal Regularization

  • 给模型训练增加约束，从而让memory bank里的特征进行动量式更新。

    MoCo中也有类似的做法