开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第8天,点击查看活动详情
论文--Rami H , Ospici M , S Lathuilière. Online Unsupervised Domain Adaptation for Person Re-identification[J]. In CVPR 2022.
摘要
行人重识别无监督域适应(person Re-ID)是将已标记的源域知识转移到未标记的目标域的过程。最近大多数解决这个问题的论文都采用了离线训练设置。更准确地说,Re-ID模型的训练是在假设我们能够访问完整的训练目标域数据集的情况下完成的。在本文中,我们认为目标域通常由实际应用中的数据流组成,其中数据从不同网络的摄像头不断增加。Re-ID解决方案还受到保密规定的限制,规定收集的数据只能存储一段有限的时间,因此模型不能再访问之前看到的目标图像。因此,我们提出了一种新的实用的针对行人Re-ID的无监督域改编的在线设置,该设置有两个主要的约束条件:在线改编和隐私保护。然后,我们使用著名的Market-1501、Duke和MSMT17基准,在新的在线设置上调整和评估最先进的UDA算法。
贡献
匹配实际场景的主要约束:1.在线适应:目标域数据不能同时被访问,而是以流的方式,在给定的时间瞬间只有一小批图像可用;2.隐私保护:不同摄像头捕获的图像可以用来更新Re-ID模型,并只存储有限的时间。
本文提出的DUA方法是简单的、无监督的、动态的,并且不需要反向传播来工作。由于计算开销也可以忽略不计,所以它非常适合实时应用程序
方法
在源标记的域数据集上预先训练特征提取器网络F(图2中的骨干)。在预训练之后,在目标未标记数据集上对模型进行微调。对目标的微调包括一个迭代过程,其中两个主要步骤交替进行,直到收敛:
-
使用F对每个目标域图像进行图像特征提取。然后,对提取的目标域特征应用标准聚类算法得到K个聚类,为每个图像分配一个集群标签。
-
然后使用目标样本的簇标签作为伪标签对F进行微调。更准确地说,添加了一个带有K个类的目标域分类器C来对图像特征及其分配的伪标签进行分类。然后通过最小化身份损失LTid(θ)和三元组损失LTtri(θ)的组合来训练网络。
Ad aptation to OUDA. 在聚类步骤只使用当前任务的数据,而不是使用整个目标的数据。