开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第32天，点击查看活动详情

论文--[1] Xiaodong Chen, Xinchen Liu, Wu Liu,el .  Explainable Person Re-Identification with Attribute-guided Metric Distillation. In ICCV,2021.

摘要

尽管卷积神经网络在行人重识别(ReID)方面取得了很大的进展，但目前的ReID模型是不透明的，只能输出两个人之间的标量距离。很少有方法可以为用户提供语义上可以理解的解释，说明为什么两个人是相同的还是不同的。在本文中，我们提出一种事后方法，命名为属性引导度量蒸馏(AMD)，以解释现有的ReID模型。这是第一个探索属性的方法，可以回答:1)属性是什么，在哪里使两个人不同，以及2)每个属性在多大程度上造成了差异。在AMD中，我们为目标模型设计了一个pluggable的解释网络，以生成属性的定量贡献，并将最具辨别力的属性的精确注意图可视化。为了实现这一目标，我们提出了一个度量蒸馏损失，通过该损失，解释器学习将两个人的距离分解为具有从目标模型中提取的知识的属性组件。此外，我们提出一个属性先验损失，使解释器产生属性导向的注意图，以消除属性分布不平衡造成的偏差。这种缺失可以引导译员关注两个人的排他性和辨别性属性，而不是两个人的大面积而共同的属性。综合实验表明，该解释器能够对多种模型产生有效直观的解释，在跨域环境下具有良好的泛化能力。作为副产品，我们的解释器可以进一步提高目标模型的准确性。

贡献

l 首次尝试通过属性引导的度量蒸馏来解释行人ReID，可以从语义上和定量上解释现有ReID模型的结果;

l 设计了一个带有属性分解头的pluggable解释器网络，获取属性对两个人差异的贡献，并对目标ReID模型产生直观的可视化;

l 为了指导解释器的学习，提出了度量精馏损失和属性先验损失，以保证度量精馏过程的一致性，防止属性偏差

方法

P ers on ReID Model可以是一个以CNN为骨干的任意现成模型（PCB,MGN等）--给定一对图像（xi,xj），首先从最后一层卷积中提取特征图（Fi,Fj）,利用广义平均池化算法计算特征向量（fi,fj）在度量空间中的距离di,j

属性引导解释器网络 G(·) 是AMD框架的核心模块。G(·)和F(·)的前几个CNN阶段是共享的（CNN的低层和中层捕捉的是纹理、颜色等属性相关特征）。G(·)中的高层是可学习的，可以生成由语义属性引导的空间注意图，能反映各属性的贡献。

属性分解头（At tribute Decomposition Head, A DH ） 连接在G(·)的最后一层卷积(conv)层之后。其中ADH包含一个conv层，一个M × 1 × 1 conv层，一个激活函数δ(·)，其中C是G(·)的最后一层conv的通道数。

给定一个图像对(xi, xj)，从G(·)的最后一层卷积得到特征映射。通过ADH，可以得到Attribute-guided Attention Maps (AAMs) Ai和。然后，将Ai和Aj按通道分割为M个矩阵，即 和其中 为第k个属性的注意图。为此，可以将属性k的Aki和Akj应用于目标模型中的特征映射Fi和Fj

实验

两个数据集上的SBS (ResNet-50)的成对示例和解释。对于每对图像，上半部分将top-3属性的aam可视化，表明这些aam被重视于判别属性。下图显示了前3个属性的总体距离和贡献。这些数字显示了解释器发现的贡献最大的属性。(彩色效果最佳。)