开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第34天，点击查看活动详情

论文--[1] Zongyi Li ,  Yuxuan Shi ,  Hefei Ling , et al. Reliability with Self-ensemble Learning for Domain Adaptive Person Re-Identification[J]. InAAAI, 2022.

摘要

基于无监督域自适应（UDA）的人员再识别（re ID）旨在将预先训练的模型从一个标记的源域转移到一个未标记的目标域。现有方法通过使用聚类方法生成伪标签来解决这个问题。然而，这些技术产生的伪标签可能是不稳定和有噪声的，大大恶化了模型的性能。在本文中，提出了一种基于自集成学习（RESL）的可靠性探索框架，用于领域自适应人员ReID。首先，为了增加特征多样性，提出了多个分支来从不同的数据增强中提取特征。将时间平均模型作为平均教师模型，使用其来自不同分支的动态集合预测作为软标签，进行在线标签精炼。其次，为了应对集群中不可靠样本的不利影响，通过评估不同集群结果的一致性来估计样本可靠性，然后选择可靠实例进行训练，并在reID损失内重新加权样本贡献。对比损失也用于通过均值特征更新的集群级记忆特征。

解决问题

l 对齐源和目标数据集之间的图像分布；应用生成对抗网络将图像样式从源域转移到目标域，保留图像的身份标签以供训练—没有充分利用目标域数据的信息

l 基于聚类的方法，利用来自源域的预训练模型，通过聚类算法提取特征，在目标域上生成伪标签。伪标签生成步骤和训练步骤交替执行，直到模型收敛。--域间隙产生噪声的问题

l 为了处理噪声标签—使用相互教学来训练成对网络并帮助相互纠正

l 相关工作—完全无监督行人重识别，无监督域自适应行人重识别，噪声学习，对比学习

 

贡献

l 提出了一种具有自集成学习的多分支架构，该架构采用自集成预测来提高基于均值的软标签的质量

l 通过评估样本簇的一致性，提出了一种样本可靠性估计策略。通过选择可靠样本进行训练，并将可靠性纳入Re ID损失，我们的模型可以减轻噪声伪标签的负面影响

l 利用时间平均模型中的特征构建集群级存储库，并使用多分支对比学习来监督不同分支的特征，这大大增强了分布式存储的能力

方法

图2:RESL的框架由四个部分组成：数据增强、自集成学习模块、可靠样本选择和对比学习模块。可靠样本选择利用不同聚类的一致性来评估身份样本的可靠性，并删除不可靠的样本。在自集成学习阶段，使用动态路由器提取权重以集成不同的分支预测，并使用时间平均模型中的集成预测作为软标签来监督模型学习。在聚类级特征记忆库上使用对比损失来增强特征识别。

目标：缓解基于聚类的学习方法中噪声伪标签的负面影响。

首先以监督学习的方式训练源域多分支模型；然后通过迭代训练使多分支模型适应目标数据集。每个分支都可以被视为一个独立的专家，其中使用不同的CNN增强、丢弃块和块来帮助增加多样性。同时，采用实例感知路由器来集成不同的专家预测。时间平均模型中的集合预测被视为软标签，并用于以相互学习的方式引导不同的分支。在每次迭代中，使用运行模型和时间平均模型的不同分支的特征来聚类和生成伪标签。不同聚类结果的一致性用于评估实例的可靠性。采用集群级内存在特征级引导多个分支。这样，可以有效地减少伪标签中的噪声。

实验

数据集：Market1501,DukeMTMC-ReID,MSMT17数据集：Market1501,DukeMTMC-ReID,MSMT17