2022CVPR行人重识别文章精读之07.Implicit Sample Extension for Unsupervised Person Re-Id

248 阅读3分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第7天,点击查看活动详情

论文--Zhang X ,  Li D ,  Wang Z , et al. Implicit Sample Extension for Unsupervised Person Re-Identification[J]. In CVPR, 2022.

摘要

大多数现有的无监督人员再识别(ReID)方法使用聚类来生成用于模型训练的伪标签。不幸的是,聚类有时会将不同的真实身份混合在一起,或者将同一身份拆分为两个或多个子聚类。对这些噪声簇的训练实质上阻碍了Re ID的准确性。由于每个身份中的样本有限,假设可能缺少一些底层信息来很好地揭示准确的聚类。为了发现这些信息,提出了一种隐式样本扩展(ISE)方法,在集群边界周围生成所称的支持样本。具体而言,通过渐进线性插值(PLI)策略从嵌入空间中的实际样本及其相邻簇生成支持样本。PLI通过两个关键因素控制生成,即:1)从实际样本到其K最近聚类的方向,以及2)混合K最近聚类中的上下文信息的程度。同时,在给定支持样本的情况下,ISE进一步使用标签保留损失将它们拉向相应的实际样本,从而压缩每个聚类。因此,ISE减少了“sub and mixed”聚类错误,从而提高了Re-ID性能。

贡献

提出了一种新的隐式样本扩展(ISE)方法用于USL人员Re-ID。ISE生成的支持样本提供了补充信息,可以很好地处理子聚类和混合聚类错误问题;

提出了一种新的渐进线性插值(PLI)策略和用于支持样本生成的标签保持对比损失(LP)

方法

图片.png 图:(a)整体隐式样本扩展管道(ISE)的概述和(b)渐进线性插值(PLI)策略的细节。对于特定的样本特征f,应用PLI生成支持样本f,该支持样本用于优化样本扩展损失LSE和标签保留损失LLP的模型。

通过线性插值操作生成f对应的支持样本~f

图片.png

方向: 相邻簇更有可能具有错误分类的样本。因此,目标是生成分布在两个相似聚类之间的支持样本。首先基于余弦相似度找到f的K近邻聚类,余弦相似点是用f和整个内存库M计算的。然后,将支持样本的方向建立为从f的簇质心c到K-最近的向量。这里,将K=1作为示例,并将1最近的簇质心表示为c∗.

程度: 决定了支持样本中应该包含多少相邻簇的信息。太大的λ会使支持样本远离其原始聚类,从而误导模型训练。太小的λ会产生几乎无用的支持样本,因为它们与原始样本相似。因此,对λ进行渐进式更新,随着训练的进行,逐渐涉及更多的上下文信息。具体而言,将λ设置为训练迭代的变量,该变量随训练的进行而对数增加:

实验

数据集:Market1501,MSMT17

图片.png

解读

基本上的行人重识别源码都是使用pytorch实现,本篇文章的源码使用百度的PaddlePaddle框架实现。