开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第15天,点击查看活动详情
论文--Nan Pu, Wei Chen, Yu Liu, Erwin M. Bakker, Michael S. Lew.Lifelong Person Re-Identifification via Adaptive Knowledge Accumulation.In CVPR,2021.
摘要
行人重识别(ReID)方法总是通过一个固定的域进行学习,该域是由给定数据集的选择确定的。在许多情况下(例如,终身学习),这些方法是无效的,因为领域是不断变化的,在这种情况下,可能需要在多个领域的增量学习。在这项工作中,我们探索了一个新的和富有挑战性的ReID任务,即终身行人重识别(LReID),它能够跨多个领域持续学习,甚至在新的和不可见的领域上进行归纳。根据人类大脑的认知过程,我们设计了一个自适应知识积累(AKA)框架,该框架具有两个关键能力:知识表征和知识操作。我们的方法缓解了可见域的大量遗忘,并证明了将其推广到不可见域的能力。相应地,我们也为LReID提供了一个新的、大规模的基准。大量的实验表明,我们的方法在泛化评价方面比其他竞争对手高出5.8%的mAP。
贡献
任务的贡献。我们开发了一个新的但实际的行人重识别任务,即LReID,它考虑了终身学习情景下的人再识别问题。
技术贡献。我们提出了一个新的AKA框架的LReID。AKA保持一个可学习的知识图,自适应更新之前的知识,同时转移知识,提高对任何看不见的领域的泛化,但塑性-稳定性损失。
经验的贡献。我们为LReID提供了一个新的基准和评估协议。AKA显示了比其他最先进的方法有希望的改进。
方法
AKA的目标是通过利用从以前的领域学到的可转移的知识,促进新领域的学习过程和未知领域的泛化。根据生物先验知识,AKA模仿大脑认知进程,将整个过程分为两个进程:知识表征和知识操作,如图2所示
图2:AKA框架的概述。AKA通过ψ保持AKG参数化,以组织和记忆以前学到的知识。给定来自某个领域的小批图像,利用提取的特征VS构造相似图GS,同时利用AKA从GK获取相关知识,得到获取知识的矢量表示¯VS。将所需要的知识¯VS与相应的输入特征VS进行求和,得到增强的表示,具有更好的泛化能力。
结果
5.1 实验细节*
去除ResNet-50的最后一层分类层,使用保留层作为特征提取器,生成2048维特征。AKA网络由一个GCN层组成。ū
5.2 LeID的新基准*
新基准与已经存在的行人重识别基准的不同:(1)原来关注于细粒的检索任务,现在关注于一般图像分类;(2)分类总数更大;(3)用新的行人(未出现域)去进行测试
LReID-Seen.总共有2500个行人的40459张图像作为终身训练集。
LReID-Unseen.包括3594个行人的9854张图片。