本文已参与「新人创作礼」活动,一起开启掘金创作之路。
相关工作
深度学习方法分为两类:
- 其一是从传统浅层一致性的方法向 深度学习方法的自然拓展,它通过探索深层次相似性来增强多张图像中相似 的候选区域。
- 第二类深度方法基于联合 特征提取。他们通常提取出一组图像的共同特征,接着将共同特征与单幅 图像的特征进行融合。
本文贡献
- 提出了一个基于梯度诱导的协同显著性目标检测(GICD) 网络。具体地,提出了一个梯度诱导模块(GIM)使得模型在训练过程中更加注意对协同显著目标更具有鉴别性的特征。同时提出了一个注意保持模块(ARM)来保持自上而下解码的过程中的注意力。
- 提出了一个拼图训练策略在通用的 SOD 数据集(如 DUTS)上训 练 Co-SOD 模型,从而缓解缺少 Co-SOD 训练数据的问题。
- 我们构建了一个有挑战性的 CoCA 数据集,同时仔细地为它赋予了标签,提供了更加符合现实的场景来更好地评价当前的 Co-SOD 方法。
GICD
模型主要基于广泛使用的特征金字塔网络 (FPN)
GICD 通过两个阶段检测协同显著目标:
- 首先它接收一组图像作为输入,接着用学习好的嵌入网络在高维空间探索这组图像的共识表示。这个共识表示描述了这组图像中协同显著目标的共有模式。
- 接着,GICD回过头来分割每一张图像的显著目标。
-
- 在这个阶段,为了把模型的注意力诱导至协同显著区域,我们利用了GIM模块通过比较嵌入空间中单个目标和共识表示来增强与协同显著目标相关的特征。
- 为了保持自上而下过程中解码的注意力,我们使用了ARM模块来连接编码-解码对。
我们使用拼图策略来训练GICD网络,Co-SOD 模型可以在不需要额外像素级标注的条件下在SOD数据集上进行训练。