开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第21天，点击查看活动详情

论文--[1] Chen Y ,  Wan L ,  Li Z , et al. Neural Feature Search for RGB-Infrared Person Re-Identification[J]. CVPR, 2021.

摘要

rgb -红外行人重识别(RGB-IR ReID)是一个具有挑战性的跨模态检索问题，其目标是在可见光和红外摄像机视图下进行目标匹配。现有作品大多通过人工设计特征选择模块来实现性能提升，这往往需要丰富的领域知识和丰富的经验。在本文中，研究了一个通用的范例，称为神经特征搜索(NFS)，以自动化的过程进行特征选择。具体而言，NFS结合了双层特征搜索空间和可区分搜索策略，在粗粒度通道和细粒度空间像素中联合选择与身份相关的线索。这种组合允许NFS以数据驱动的方式自适应地过滤背景噪声，并专注于人体的信息部分。此外，跨模态对比优化方案进一步引导NFS搜索能够最小化模态差异，同时最大化类间距离的特征。

贡献

作者将特征选择转换为二层优化问题，即从最佳特征学习结果中推导出最优特征子集，并提出了一种新的范式，神经特征搜索。

•提出了一种基于自动机器学习的神经特征搜索方法用于RGB-IR行人重识别，该方法自动化了特征选择（首次）过程，减少人为干扰。

•NFS包括一个双层特征搜索空间，其中每个特征图都根据像素和通道维度进行分解，这允许以相互强化的方式共同执行特征选择操作。通道级搜索，可以从全局视角识别相关的响应图；像素级搜索，扫描每个空间位置，有选择地处理一个人的局部部分特征。

•为了提高搜索效率，利用重新参数化技巧（reparameterization tricks）来放松搜索空间以保持连续性，这使得搜索神经元的优化与随机梯度下降（SGD）相一致。考虑到RGB-IR ReID固有的模态差异问题，进一步引入了一种跨模态对比优化方案作为监督信号。

方法

图2.NFS概述。该算法结合模态感知搜索单元和跨模态对比优化机制，对基于双流CNN的特征空间进行自动特征选择。对每个可学习搜索单元与网络参数进行联合优化，得到每个共享块的最优特征子集。跨模态对比优化机制进一步使得NFS能够搜索模态不变特征，从而在最大化类间距离的同时最小化模态差异。

NFS在双流网络的基础上，主要包括一个用于空间和通道特征选择的双层搜索空间，以及一个由交叉模态对比优化方案控制的可微特征搜索算法，用于快速准确地裁剪判别线索。

实验

表1.在SYSU-MM01数据集上的实验结果

表2.在RegDB数据集上的实验结果