开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第34天,点击查看活动详情
论文--[1]*Xinqian Gu, Hong Chang, Bingpeng Ma, et al. Clothes-Changing Person Re-identification with RGB Modality Only [J]. In CVPR, 2022.
摘要
解决换衣人再识别的关键是提取与衣服无关的特征,例如,面部、发型、身体形状和步态。目前的大多数工作主要集中在从多模态信息(如轮廓和草图)建模身体形状,但没有充分利用原始RGB图像中与衣服无关的信息。在本文中,提出了一种基于衣服的对抗性损失(CAL),通过惩罚衣服的预测能力re-id模型,从原始RGB图像中挖掘与衣服相关的特征。
此外,与图像相比,视频包含更丰富的外观和额外的时间信息,可用于建模适当的时空模式,以帮助服装更换re-id。由于没有公开可用的换衣视频re id数据集,我们提供了一个名为CCVID的新数据集,并表明在时空信息建模方面存在很大的改进空间。代码和新数据集可从github.com/guxinqian/S…
贡献
l 适当设计损失函数,从resnet中提取到与衣服无关的重要信息。--基于服装的对抗性损失(CAL)--在reid模型的主干后面添加服装分类器,并将CAL定义为多正类分类损失,其中属于相同身份的所有服装类都是相互正类。在训练过程中,最小化CAL可以迫使re id模型的主干通过惩罚re id模型对相同身份的不同衣服的预测能力来学习与衣服无关的特征。通过反向传播,与仅用识别丢失训练的特征图相比,学习的特征图可以突出更多与衣服无关的特征,例如发型和体型
l 根据步态识别数据集(FVG)的原始数据重建了一个新的服装更换视频人物识别数据集(C CVID ) 。
方法
学习与衣服无关的特征。固定衣服分类器的参数,使用一个多正类分类损失,其中属于同一身份的所有服装类别都是相互正类。
实验
数据集:CCVID(本文重新组织的视频序列换衣行人重识别数据集),PRCC,LTCC