开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第4天，点击查看活动详情

论文--Chao Wu , Wenhang Ge , Ancong Wu , et al. Camera-Conditioned Stable Feature Generation for Isolated Camera Supervised Person Re-IDentification [J]. In CVPR, 2022.

摘要

为了学习用于人再识别（Re ID）的摄像机视图不变特征，每个人的跨摄像机图像对起着重要作用。然而，在隔离摄像机监控（ISCS）设置下，例如部署在远处场景的监控系统，此类交叉视图训练样本可能不可用。为了解决这个具有挑战性的问题，引入了一种新的流水线，通过在特征空间中合成交叉摄像机样本进行模型训练。具体地说，特征编码器和生成器在一种新方法——相机条件稳定特征生成（CCSFG）下进行端到端优化。其联合学习过程引起了对生成模型训练稳定性的关注。因此，提出了一种新的特征生成器，σ-正则化条件V变量自动编码器（σReg.CVAE），并对其鲁棒性进行了理论和实验分析。在两个ISCS人员身份数据集上的大量实验证明了我们的CCSFG相对于竞争对手的优势。

贡献

解决Isolated Camera Supervised(ISCS)隔离摄像机监督问题，没有跨摄像机人员图像可用于模型训练。跨相机样本在特征空间中生成，而不是作为图像生成。

引入了一种新的流水线，通过合成交叉摄像机样本来处理ISCS设置，以便更好地进行编码器训练。图2.ISCS设置的管道。具有不同形状的点表示不同ID的特征。不同的颜色意味着不同的摄像机视图{v1，v2，…，vC}。由生成器G生成基于不同摄像机视图的特征样本，显示为非实心点。因此，交叉摄像机对可用于编码器E的更好训练。--恢复关键的跨摄像机样本，并将其用于增强模型训练---提出CCSFG，并提出新的特征生成器

方法

相机条件稳定特征生成（C CSFG ）

由两个组件组成，人物图像编码器E（resnet50）和特征生成器G(σReg.CVAE)。CCSFG的总体训练目标为：

具体步骤： （1）由编码器E提取人物图像x的外观特征 （2）给定一个摄像机下的图像特征f，期望生成其他摄像机下的同一个人的图像特征，因此所提出的生成器G构建在条件变分自动编码器（CVAE）架构上，以便引入辅助信息，例如身份y和摄像机视图c。 （3）G训练。IFN是σReg.CVAE 中的归一化函数 （4）E训练。通过保持身份标签y相同并遍历摄像机vi生成的。因此，f及其相应生成的特征｛g vi｝构成同一个人的跨摄像机样本。 理想的编码器E应该从人物图像中提取区分性和试图不变的特征f，应使图像特征f与相应的gvi之间的平均距离最小化。为此提出新的跨摄像机特征对准损失（CCFA）