2021ICCV行人重识别文章精读之01. Intra-Inter Camera Similarity for Unsupervised Person ReID

248 阅读3分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第10天,点击查看活动详情

论文--[1] Xuan S ,  Zhang S . Intra-Inter Camera Similarity for Unsupervised Person Re-Identification[J]. CVPR,2021.

摘要

大多数的无监督行人重识别(Re-ID)作品都是通过测量特征相似度来产生伪标签,而没有考虑相机之间的分布差异,从而降低了跨相机标签计算的准确性。本文的目标是解决这一挑战,通过研究一种新的相机内部相似度伪标签的生成。本文将样本相似度计算分解为两个阶段,即相机内和相机间的计算。 相机内计算直接利用CNN特征进行每个相机内的相似度计算,在不同的摄像机上生成的伪标签在多分支网络中训练re-id模型。 第二阶段将每个样本在不同相机上的分类得分作为一个新的特征向量。该特征有效地缓解了摄像机之间的分布差异,生成了更可靠的伪标签。

贡献

提出了一种无监督行人ReID的相机内相似度方法,通过生成相机内和相机间的伪标签迭代优化相机内相似度。

提出了利用生成的摄像机内伪标签训练多分支CNN的摄像机内训练阶段。根据在摄像机内训练阶段训练的每个分类器得到的分类分数,可以计算出更鲁棒的摄像机间相似度。然后利用该相似度进行跨摄像机聚类生成的伪标签对网络进行训练。

引入了AIBN以提高网络的泛化能力。

方法

相机内训练

利用现有的伪标签生成方法,在每个摄像机内执行Eq.(2),然后根据聚类结果训练f,可以增强对En的鲁棒性。假设第c个相机的聚类结果为Tc,则第c个相机的相机内训练损失可以表示为:

图片.png 其中m为集群ID,作为In的伪标签进行损耗计算。为了保证f在不同摄像机下对复杂En的鲁棒性,可以通过共享相同的f在不同摄像机上计算式(4)。这就产生了一个多分支CNN,每个分支对应一个分类器,它们的共享主干学习特征f。

图片.png

相机间训练

本文提出计算一个更鲁棒的相机间相似度。是用领域自适应策略训练分类器以增强泛化能力,例如,期望c相机上的分类器对其他相机具有判别性。因此,本模型可以根据同一个人的分类分数,从不同的相机中识别出同一个人的图像,并通过相机间的相似度来放大图像的相似度,即:

图片.png

实验

数据集:DukeMTMC-ReID, Market1501和MSMT17

骨干网络:ResNet50,第五池化层后全移除,使用BN-Neck

框架:PyTorch

图像:256*128,采用随机翻转,随机擦除等图像增强策略

相机内训练:batch-size=8,resnet50学习速率0.0005,其他0.005,12epoch

相机间训练:batch-size=64,resnet50学习速率0.001,其他0.01,2epoch

实验结果:

图片.png