开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第16天，点击查看活动详情
论文--[1] Zheng K , Liu W , He L , et al. Group-aware Label Transfer for Domain Adaptive Person Re-identification[J]. 2021.
摘要
无监督域自适应(UDA)行人重识别(ReID)的目标是使经过标记的源域数据集训练的模型适应到目标域数据，而不需要任何进一步的注释。最成功的UDA-ReID方法是将基于聚类 的伪标签预测与表示学习相结合，并交替执行这两个步骤。然而，这两个步骤之间的离线交互可能会允许有噪声的伪标签实质上阻碍模型的能力。在本文中，我们提出了一种群体感知的标签转移(GLT)算法，该算法能够在线交互并促进伪标签预测和表示学习。具体来说，标签传输算法同时使用伪标签对数据进行训练，同时将伪标签细化为在线聚类算法。它将在线标签提炼问题视为最优运输问题，探讨了将M个样本分配给N个伪标签的最小成本。更重要的是，我们引入组感知策略，为样本分配隐式属性组id。将在线标签优化算法与群体感知策略相结合，可以更好地在线纠正伪标签，缩小目标身份的搜索空间。Market1501→DukeMTMC(82.0%)和DukeMTMC→Market1501(92.2%)的实验结果(rank-1准确性)证明了所提出的GLT的有效性，显著地缩小了无监督和有监督的行人重识别表现之间的差距
贡献
首次尝试通过UDA-ReID的标签转移方法将聚类和特征学习集成到一个统一的框架中。它可以在线地对预测的伪标签进行改进，以提高模型在目标域上的特征表示能力。
•提出了一种基于标签迁移的群感知特征学习策略来细化多群伪标签群，为提高表示学习质量提供了良好的潜在伪标签群。
•在Market→Duke, Duke→Market, Market→MSMT, Duke→MSMT ReID任务中，与最先进的方法相比，GLT框架实现了显著的性能改进。即使对于有监督的学习方法，我们的算法也显著地缩小了差距
方法
全体感知标签转移
3.1 基于聚类方法的再访问
构想. 形式上，给源域数据Ds手动标注，我们可以访问目标域Dt，而不需要任何ground-truth标签。
概述. 深集群框架是通用的管道。具体来说，ReID模型F(·|θ)通常是通过对源域数据的监督任务进行预训练，θ为网络参数。然后我们使用这个预先训练好的网络来提取目标域图像的特征，即{fi=F(xi|θ)}| Nt i=1 ∈RD。然后，通过聚类这些嵌入特征，将目标域图像分组到k类中。设{̃yi}|Nti∈{1，…， K}表示目标域图像{xi}|Nti生成的伪标签，其中包含噪声标签。
然后，计算交叉熵损失，采用分类头FCk:RD→RK将嵌入特征转换为分数向量，其形式为p(̃yi|xi) =softmax (F C(F(xi|θ))。然后，网络参数θ和可学习的目标域分类器FCk根据交叉熵损失Lid(θ)和三元组损失Ltri(θ)的形式进行优化
通过聚类生成伪标签和使用伪标签进行特征学习这两个步骤交替进行，直到训练收敛。采用在线聚类策略来精化那些伪标签错误的样本。如图2所示，框架交替进行，在伪标签的引导下，逐步在目标域上训练ReID模型
3.2 群体感知标签转移的在线聚类
每个图像xi通过ReID模型转换成fi。然后，我们通过将fi映射到一组K个可训练的原型向量(C={c1, c2，…)，从这个特征计算出组概率pi。cK}。我们用C表示这个矩阵，它的列向量是{c1, c2，…cK}。然后，使用伪标签Q∈[0,1]K×N监督组概率P，并在训练过程中使用Label Transfer在线更新伪标签。
原型预测问题。我们的原型可以由非参数原型分类器或参数线性分类器实现。该优化可以通过交叉熵损失来优化聚类分配概率，其中原型C表示线性分类器的可训练权值。对于k-means或DBSCAN聚类，线性分类器有一个固定的权值集作为每个聚类中表示的均值向量。
我们重写eq.(1)的交叉熵损失，将标签编码为后验分布q(̃yi|xi)∈q，由聚类算法生成:
通过标签传输在线精炼伪标签。提出了一种将表示学习和聚类算法相结合的标签转移方法，在在线训练方案中对带有噪声的伪标签进行校正。通用管道经常处理优化q和表示学习p。
然而，由于单独优化抑制了这两个步骤的相互作用，在表征学习中不能很好地生成精度伪标签。为了使我们的方法在线，我们尝试利用原型和群概率来精炼有噪声的伪标签。我们使用原型类型来计算精炼伪标签，这样批量中的所有示例都被原型平均分割。这种均分约束了多个批次或整个数据集中不同图像的精化伪标签是不同的，从而避免了每个图像都有相同伪标签的琐碎解决方案
eq.(3)中的目标是组合查询，因此很难通过端到端的方式进行优化。而最优传输算法[4]可以解决这个问题。LetPi，̃yi=p(̃yi|xi)1Nbe (i，̃yi)元素ofK×Nmatrix作为模型估计的联合概率，表示该i-thsample被预测成为̃yi-th伪标签的组概率。同理Qi,yi=q(̃yi|xi)1NisK×Nmatrix为伪标号矩阵。使用[4]的表示法，我们将matrixQ放松为可迁移原型的元素
我们发现使用一个低λ可以有一个强的熵正则化，这通常导致一个平凡的解，其中所有的样本坍塌成一个唯一的表示，并被均匀地分配给所有的原型。因此，在实践中我们保持一个高λ。根据Sinkhorn-Knopp算法[1]，eq.(5)的正则化项最小化可表示为
采用迭代sinkhorn - knopp[1]算法，通过简单的矩阵缩放迭代得到向量α和β:
在我们的例子中，我们只把λ作为hyper -parameter，因为我们更感兴趣的是在最终的聚类和表示学习结果中获得更好的性能，而不是解决最优的传输问题。在使用组概率矩阵更新伪标号矩阵q后，我们使用当前的qas伪标号训练ReID模型来优化组概率。伪标签预测和带有伪标签的特征学习这两个步骤交替进行，直到训练收敛。
Group-aware标签转移。目标域的实际标识号是未知的，很难用一个k值来生成准确的伪标签。因此，基于组的描述[15]涉及伪组中的共同特征，可以用来缩小候选集合，这有利于识别准确的人。这种群体感知策略可以将一个人聚类到多群体聚类原型中，能够高效地嵌入大量的人，并对一个未知的人进行简要描述。然后，引入组感知策略，为样本分配隐式属性组id。在我们的公式中，我们首先采用多重k设置{k1，…， kM}，通过多密度DBSCAN或多k K-means生成多组伪标签。然后，我们用它们来训练reid模型
在多组伪标签的基础上，采用多组优化策略对多组伪标签进行优化。不同的伪标签组具有不同的分类头，而特征提取器参数θ在它们之间共享。在公式中，我们优化了eq.(9)型的多群目标函数。
3.3 目标实例内存银行
更新机制。我们使用存储库[12]来记忆整个数据集的特征。当小批量样本到来时，我们将存储库维护为一个数据样本队列。这使得我们可以重用前面的小批量的特性嵌入。队列的引入将内存银行大小与迷你批处理大小解耦。我们的内存库大小可以比典型的迷你批大小大得多，可以灵活地独立设置为超参数。词典中的样本逐步被替换。当前的迷你批处理被放入字典中，队列中最老的迷你批处理被删除。字典总是代表所有数据的抽样子集，而维护这个字典的额外计算是可管理的。此外，删除最旧的迷你批可能是有益的，因为其编码的密钥是最过时的，因此与最新的密钥最不一致。
然后利用余弦距离计算微批处理和存储库之间的特征相似度。此外，根据伪标签，我们将样本分割为负对和正对，其中加权对比损失[25]适合这个问题。因此，提出了加权对比损失法，以更好地计算多个正样本的损失，有利于模型的优化
