前序
meta-learning:在限定条件的有限样本上训练后,在新的类别可取得比较好结果的分类器。语义分割是在像素级的分类,因此可借用 meta-learning学习分类器,对分割图像的每个像素做分类来实现分割。但一张图像中有很多稠密特征,one-shot方法不能够较好地度量这些特征。
概述
第一个分支将标记的图像作为输入,并生成参数向量作为输出。第二个分支接受这些参数和一个新图像作为输入,并为新类生成图像的分割掩码作为输出。
本文贡献
- 提出了一种新的单样本分割技术,该技术在快速分割的同时优于基线;
- 该技术可以在不为新类添加弱标签的情况下做到这一点;
- 即使只有少数类具有较强的标注,元学习也能有效地进行;
- 在PASCAL上为具有挑战性的k-shot语义分割任务建立了基准。
方法:
第一个分支输入支持集中带标签的图像,准确地说是输入图像标签对
来产生一组参数:
在另一个分支上,使用参数嵌入函数ϕ(这里指的似乎就是FCN之类的backbone)来从查询图像Iq中提取特征。设Fq = ϕζ(Iq)是从Iq中提取的feature volume,则指的是空间位置(m,n)上的特征向量。然后使用第一层的参数对特征进行像素级逻辑回归,得到最终的mask。
最后将预测掩码通过双边线性插值的方式进行上采样,恢复到原图尺寸,然后以0.5为阈值对查询图片进行掩码操作得到分割图像。
损失函数;
这一损失函数的目的是最大化预测对ground-truth-mask的对数似染:
实验结果:
结论
本文提出了一种新的图像分割体系结构来解决这一问题。我们的架构学习学习一个集成分类器,并使用它对查询图像中的像素进行分类。综合实验表明,该算法具有明显的优越性。所提出的方法比其他基准要快得多,并且占用的内存也更少。