开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第33天，点击查看活动详情

论文--[1] Shengqi Lai ,Zhenhua Chai, Xiaolin Wei.Transformer Meets Part Model: Adaptive Part Division for Person Re-Identification[J]. In ICCV, 2021.

摘要

局部模型是实现高绩行人重识别任务的关键因素之一。在近年来的研究中，局部模型主要有两种研究方向。第一种方法是将一个人的图像分成几个固定的部分来获取图像的局部信息，但是如果不对中，可能会导致性能下降。另一种是探索外部资源，如姿态估计或人工解析来定位局部部件，但它需要额外的存储和计算。受最近成功的空间相似建模transformers的启发，我们提出了一种新的自适应局部划分(APD)模型，以更好地提取局部特征。具体来说，APD主要由两个关键模块组成:基于transformer的局部合并(TPM)模块和局部掩码生成(PMG)模块。具体来说，TPM首先自适应地将同一语义对象的补丁令牌分配到相同的局部。然后，PMG将这些相同的局部放在一起，并生成几个不重叠的掩模，以实现鲁棒性的局部划分。

贡献

提出了一种新的基于局部的ReID特征提取的自适应局部分割(APD)模型。与传统的人工设计掩模的方法不同，所提出的包含TPM和PMG的APD即使在遇到尺度和位移偏差时仍有机会捕捉两个不同样本的对应区域。

APD具有普适性和模型无关性。它可以很容易地应用于现有的大多数流行的基于部件的架构，如PCB和MGN

方法

APD主要有两个创新，它们被融合到一个单一的框架中。第一部分是基于transformer的局部合并(TPM)模块。它有望增强表示，并使其对尺度和移位变化具有鲁棒性。第二部分是part Mask Generation (PMG)模块，该模块旨在避免产生高度相似的Mask。不同的mask应该针对不同的关键区域。

实验

pytorch 和 4块NVIDIA TESLA V100 GPU