开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第34天，点击查看活动详情

论文--[1] Yukun Huang, Xueyang Fu, Zheng-Jun Zha. Attack-Guided Perceptual Data Generation for Real-world Re-Identification[J]. In ICCV, 2021.

摘要

在不受约束的现实世界监控场景中，行人重识别(Re-ID)模型通常遭受不同的低级感知变化，例如交叉分辨率和照明不足。由于训练数据变化范围有限，现有模型难以推广到感知干扰类型未知的场景。为了解决上述问题，本文提出了两种不相交的数据生成方法来补充现有的训练样本，以提高Re-ID模型的鲁棒性。首先，考虑到感知空间中样本的稀疏性和不平衡性，对估计的感知分布进行密集重采样。其次，为了挖掘更有代表性的生成样本用于身份表示学习，我们引入了一个基于图的白盒攻击者，通过批内排序和区别注意来指导数据生成过程。此外，在Re-ID训练中引入了两个合成-真实的特征约束，以防止生成的数据带来域偏差。我们的方法是有效的，易于实现，并且独立于特定的网络架构。将我们的方法应用于ResNet-50基线已经可以获得具有竞争力的结果，在MLRCUHK03数据集的第1位，我们的方法比最先进的方法高出1.2%。

贡献

l 提出了一种新的全局感知和攻击引导的感知数据生成框架，以补充现有的针对低级感知变化的Re-ID训练数据。

l 设计了一个轻量级的解缠生成模型，可以估计和操作图像的分辨率组件。它可以很容易地应用于其他感知类型，很少修改。

l 为了缓解合成样本造成的域偏差，引入合成到真实的特征约束，以缩小域间隙并正则化身份特征流形。

方法

方法旨在通过调整样本的感知退化来补充训练数据，从而提高Re-ID模型对现实世界视觉退化的鲁棒性。提出的数据增强是数据依赖和任务驱动的。使用两种互补的方法来生成辅助数据，1.全局感知增强，用于密集地重新采样感知变化，以处理训练数据未覆盖的可能场景。2.reid驱动攻击，利用任务相关知识指导生成模拟视觉退化对reid干扰的感知对抗样本。为了更有效地改进身份特征学习，这些辅助数据在每次迭代中在线生成，并通过特定的约束来缓解合成域和真实域之间的样本偏差。

1. 网络架构*

I dentity Encoder Eid是ResNet50骨干，BNNeck head用于身份特征提取。

Conten t Encoder Ec是一个轻量级卷积神经网络（CNN），用于提取与内容相关的图像特征

De gradation Encoder E d是一个具有归一化线性层的多层CNN，用于提取输入图像的退化特征和估计感知质量分数。

De gradation Attacker Ad是一个具有短连接的堆叠式GCN (graph convolutional network)。以退化特征和分批邻接矩阵为输入，期望预测最具侵入性的感知质量分数。

Generator G是一个带有自适应实例归一化(AdaIN)层的CNN，可以融合内容和退化特征形成图像。

Discriminator D采用了多尺度Patch-GAN结构，用来区分生成的图像，使合成分布更接近真实分布。

结果

3 cross -resolution benchmarks:MLR-CUHK03,MLR-VIPeR,CAVIAR****

1 conventional benchmarks:MSMT17