2021AAAI行人重识别文章精读之01.Camera-aware proxies for unsupervised person re-identificat

283 阅读3分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第34天,点击查看活动详情

论文--[1]Menglin Wang, Baisheng Lai, Jianqiang Huang, Xiaojin Gong, and Xian-Sheng Hua. Camera-aware proxies for unsupervised person re-identification. In AAAI, 2021.

摘要

本文解决了纯无监督行人重识别(Re-ID)问题,该问题不需要任何注释。以前的一些方法采用聚类技术生成伪标签,并利用生成的标签逐步训练Re-ID模型。这些方法相对简单但有效。然而,大多数基于聚类的方法都将每个聚类作为一个伪身份类,忽略了主要由摄像机视角变化引起的较大的id内方差。为了解决这个问题,我们建议将每个集群分成多个代理,每个代理代表来自同一个摄像机的实例。这些摄像头感知代理使我们能够处理较大的id内方差,并为学习生成更可靠的伪标签。基于摄像头感知代理,我们为我们的Re-ID模型设计了摄像头内部和摄像头之间的对比学习组件,以有效地学习摄像头内部和跨摄像头的身份识别能力。同时,设计了一种代理均衡抽样策略,便于我们进一步学习。在三个大规模的Re-ID数据集上的大量实验表明,我们提出的方法在性能上明显优于大多数无监督方法。特别是,在具有挑战性的MSMT17数据集上,与第二名相比,我们获得了14.3%的Rank-1和10.2%的mAP改进。代码可以在github.com/Terminator8…

贡献

l 以前的聚类方法将每个集群视为一个伪身份类,忽略了由姿态、光照和相机视角变化引起的id内方差—-同一个id行人,在同一个摄像头的拍摄下,更容易聚集在一起—-提出基于摄像头的代理辅助学习方法(将每个由相机无关聚类方法获得的单个集群划分为多个相机感知代理,每个代理代表来自同一个摄像机的实例)

l 基于代理的标签,设置了一个摄像头内对比学习组件,以联合处理多个摄像头特定的ReID任务。与全局ReID任务相比,每个相机特定的任务处理更少的id数量和更小的方差,同时使用更可靠的伪标签。

l 设计了一个摄像机间对比学习组件,利用摄像机间的正代理和难负代理学习全局识别能力。

l 采用代理平衡抽样策略在每个小批中选择合适的样本,便于模型进一步学习

方法

图片.png

基线没有考虑相机的视角变化,于是将每个类分成多个特定于摄像机的代理,并生成一组新的伪标签,每个代理代表来自同一个摄像机的实例。所获得的摄像机感知代理不仅可以捕获类内方差,而且可以将模型更新步骤划分为摄像机内和摄像机间的学习部分。

实验

基线:ResNet50,去掉全连接的分类层,并在gap后面增加BN

数据集:Market-1501,DukeMTMC-reID,MSMT17

结果:

图片.png

图片.png