开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第34天，点击查看活动详情

论文--[1] Xin H ,  Sanyuan Z ,  Mang Y , et al. Cross-Modality Person Re-Identification via Modality Confusion and Center Aggregation[J].  In ICCV, 2021.

摘要

由于存在较大的跨态差异和内态差异，跨态人再识别是一项具有挑战性的任务。目前，已有的学习方法大多采用身份监督或模式标签的方法，侧重于学习模式特异性或模式可共享特征。与现有的方法不同，本文提出了一种新的模态混淆学习网络(MCLNet)。其基本思想是混淆两种模式，确保优化明确集中在模式无关的角度。具体地说，MCLNet被设计用来学习模态不变的特性，方法是同时最小化模态间差异，同时最大化单个框架中实例之间的跨模态相似性。此外，引入身份感知的边缘中心聚集策略，提取集中特征，同时在边缘约束下保持多样性。最后，我们设计了一个相机感知学习方案来丰富识别能力。在SYSUMM01和RegDB数据集上的大量实验表明，MCLNet在很大程度上优于最先进的技术。在大规模SYSU-MM01数据集上，该模型的Rank-1精度和mAP值分别达到65.40%和61.98%。

贡献

l 为cm-ReID提出了一个新的模态混淆学习网络(MCLNet)。它是一种有效的学习结构来提取模态无关表示，加强了学习表示对模态变化的鲁棒性。

l 引入了一种身份感知的边缘约束中心聚集策略。该算法在提取集中特征的同时，保留多样性，在有边缘约束的情况下提高泛化能力。

l 设计了一个相机感知学习方案，应用相机标签监督，通过相机感知表示丰富了可分辨性。

方法

模态混淆学习网络(MCLNet)由三个主要部分组成。它是在一个部分共享的双流网络上设计的，用于模态不变特征学习。首先，模态混淆学习模块混淆模态辨别反馈，以获得更好的模态无关属性。然后，提出了一种身份感知的边缘中心聚集策略来改进身份集中表示学习。最后，通过利用相机标签信息学习相机感知表示，提出了相机感知的边缘中心聚合约束。

实验

数据集：SYSU-MM01,RegDB