开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第9天，点击查看活动详情

论文--Zizheng Yang, Xin Jin, Kecheng Zheng, et al. Unleashing Potential of Unsupervised Pre-Training with Intra-Identity Regularization Person Re-Identification[J]. In CVPR, 2022.

摘要

现有的人员再识别(ReID)方法通常直接加载预先训练的ImageNet权重进行初始化。但ReID作为细粒度的分类任务，具有较大的挑战性，与ImageNet分类存在较大的领域差距。受具有对比目标的自我监督表示学习的巨大成功的启发，本文设计了一个基于对比学习(CL)管道的无监督再识别预训练框架(UP-ReID)。

在预训练过程中，试图解决学习细粒度ReID特征的两个关键问题:(1)CL管道中的增强通常会扭曲人物图像中的判别线索，(2)没有充分挖掘人物图像的细粒度局部特征。因此，在UP-ReID中引入了一个内部标识(I2-)正则化，它分别实例化为来自全局和局部的两个约束。增强人像图像与原始人像图像之间采用全局一致性约束，增强图像的鲁棒性，同时利用图像局部小块之间的内在对比约束，充分挖掘局部判别线索。在多个流行的Re-ID数据集(PersonX、Market1501、CUHK03和MSMT17)上进行的大量实验表明，UP-ReID预训练模型可以显著促进下游ReID微调，并实现最先进的性能。

贡献

预训练方法不适用，ImageNet与ReID数据集之间存在较大的域差距。--如何有效地预训练一个好的特定于reid的初始化网络

现有对比学习管道中使用的图像增强策略会破坏人物图像的辨别属性。二是以往的预训练方法没有充分挖掘人物图像的细粒度信息。只关心图像级全局特征表示的学习

在UPReID中引入了一种intra-identity (I2-)正则化，它从全局图像级别和局部patch级别实例化。

在I2正则化中，首先实施全局一致性，以增加预训练对数据增强的鲁棒性。进一步引入基于先验硬挖掘策略的内在对比约束，充分挖掘局部判别线索。

方法

两个阶段：预训练和微调

（a）在大型数据集（LUPerson）上进行无监督预训练模型

（b）然后利用预训练的模型初始化主干，并使用小规模的有标记或无标记的人员ReID数据集(例如，Market1501)进行微调

UP-ReID有两个编码器:一个在线编码器fq和一个基于动量的移动平均(EMA)更新编码器fk。fq和fk都由特征编码器和投影头组成。特征编码器是要预训练的模型(如ResNet50)，投影头是一个多层感知器。在线编码器fq将通过反向传播更新，而EMA编码器fk将通过基于动量的fq移动平均缓慢前进，即θk←mθk +(1−m)θq。θk、θq表示fk、fq的参数，m表示动量系数。

给定一个输入图像x，经过两种不同的增广，可以得到x的两种不同视图:查询视图Xq,0和键视图Xk,0。与之前的对比学习方法只将增强图像作为输入不同，还将原始图像x输入到网络中。使用一致性损失Lconsistent，缩小小批量增强图像与原始图像相似度分布的距离。（3.2节）

在将xq,0和xk,0输入网络之前，将它们分别划分为M个不重叠的patch。所有2M patch实际上都是从同一个人的图像x中分割出来的。然后将这些patch连同整个增强图像一起输入在线编码器和EMA编码器。在它们之上计算一个内在对比损失Linc，以学习细粒度的局部表示和语义图像级表示(3.3节)。为了更好地进行细粒度信息挖掘，在计算固有对比损失时进一步引入硬挖掘策略(3.4节)。

结果

数据集：Market1501,MSMT17, CUHK03, PersonX。p=4,k=16,4GPU

预训练模型：LUPerson, 在pytorch框架下使用8个GPU进行3周的训练