开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第34天，点击查看活动详情
论文--[1] Rao Y , Chen G , Lu J , et al. Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification[J]. In ICCV, 2021.
摘要
注意机制在精细视觉识别任务中显示出巨大的潜力。在本文中，提出了一种基于因果推理的反事实注意学习方法来学习更有效的注意。与大多数基于传统似然法的视觉注意学习方法不同，我们提出了基于反事实因果关系的注意学习方法，这提供了一个测量注意质量的工具和一个强有力的监督信号来指导学习过程。具体来说，我们通过反事实干预来分析学习到的视觉注意对网络预测的影响，并最大限度地促进网络学习到更多对细粒度图像识别有用的注意。根据经验，我们在广泛的细粒度识别任务中评估了我们的方法，在这些任务中注意力起着至关重要的作用，包括细粒度图像分类、人的再识别和车辆的再识别。在所有基准上的持续改进证明了我们的方法的有效性。
方法
1. 细粒度识别的注意力模型****
给定图像I和对应的大小为H ×W ×C的CNN特征图X = f(I)，视觉空间注意模型M的目的是发现图像的区别区域，通过显式地结合物体的结构知识来改进CNN特征图X。
M有相当多的变种，大致可以把它们分为两类。第一种类型旨在学习“硬”注意力图，其中每个注意力可以表示为一个边界框或分割掩码，覆盖了某个感兴趣的区域。这组方法通常与目标检测和语义分割方法密切相关。第二种是基于学习“软”注意图，更容易优化。在本文中重点研究了这组方法。具体而言，基线模型采用了多头注意模块。注意模型的目的是学习物体各部分的空间分布，可以表示为注意图，其中M为注意数量。使用注意力模型M
