开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第5天，点击查看活动详情
论文--Wang Z , Zhu F , Tang S , et al. Feature Erasing and Diffusion Network for Occluded Person Re-Identification[J]. In CVPR 2022.
摘要
遮挡人再识别（ReID）旨在跨不同摄像机视图将遮挡人图像与整体图像进行匹配。目标行人（TP）经常受到非行人遮挡（NPO）和非目标行人（NTP）的干扰。以前的方法主要关注于提高模型对NPO的鲁棒性，而忽略了NTP的特征污染。在本文中提出了一种新的特征擦除扩散网络（FED），以同时处理NPO和NTP的挑战。具体来说，通过在整体行人图像上模拟NPO并生成精确遮挡遮罩的NPO增强策略，提出的遮挡消除模块（OEM）明确消除了NPO特征。随后，通过新的特征扩散模块（FDM）将行人表示与其他记忆特征进行扩散，以在特征空间中合成NTP特征。在OEM遮挡分数的指导下，在可见身体部位上进行特征扩散过程，从而提高合成NTP特征的质量。通过联合优化OEM和FDM，可以大大提高模型对TP的感知能力，并缓解NPO和NTP的影响。此外，所提出的FDM作为训练的辅助模块工作，不会参与推理阶段，因此具有较高的灵活性。在封闭和整体person-ReID基准上的实验证明了FED方法优于现有方法
贡献
基于人体关键点和人体语义信息的辅助模型提取特征，但是由于训练数据和测试数据之间的领域差距，辅助模型性能无法保持一致。语义信息使NTP的遮挡导致更高的不匹配概率；人体关键点模型无法识别背包雨伞等有价值信息
OEM(遮挡消除模块)对NPO特征进行擦除，增强策略将通过使用特定策略粘贴裁剪patches来生成被物体遮挡的行人数据。同时，通过分析像素级值的差异可以得到精确的局部标签，指示对象是否遮挡。将局部标签称为遮挡masks。接下来，遮挡掩模将引导OEM分析语义信息并生成局部特征的最终遮挡分数
FDM（特征扩散模块）通过将NTP特征扩散到原始特征来模拟多行人图像。在OEM的遮挡分数指导下，将仅对身体部位执行特征扩散操作，确保模拟的特征更真实。通过扩散特征优化模型，我们可以间接提高模型对TP的感知能力和对NTP的鲁棒性
方法
首先是使用NPO Aug增强策略生成图像对和遮挡mask，使用ViT作为特征提取器，位置嵌入和分类标记预先添加到输入图像。每个图像的输出特征为f∈ R（n+1）×c，其中n+1表示图像令牌和一个[cls]令牌，c是信道维度。n和c分别为128和768。接下来，对图像令牌执行part pooling，并获得N个局部特征，这些特征将被馈送到遮挡擦除模块（OEM）。在这里根据NPO增强策略将N设置为4。两个内存库将在开始时初始化，并通过训练处理进行更新。辅助特征扩散模块（FDM）将图像特征和第一个内存库作为多行人模拟的输入。
