Open-Set Likelihood Maximization for Few-Shot Learning (来源CVPR2023)
摘要
我们解决了(few - shot Open-Set Recognition, FSOSR)问题，即在一组只有少量标记样本的类中对实例进行分类，同时检测不属于任何已知类的实例。我们将探讨流行的转导设置，它在推理时利用未标记的查询实例。由于观察到现有的转导方法在开放集场景下表现不佳，我们提出了一种最大似然原则的推广，在这种原则中，潜在分数降低了潜在异常值的影响，并与通常的参数模型一起引入。 我们的公式嵌入了来自支持集的监督约束，并在查询集上附加惩罚来抑制过度自信的预测。 我们继续进行块坐标下降，潜在分数和参数模型交替协同优化，从而相互受益。我们称我们得到的公式为开放集似然优化(OSLO)。OSLO是可解释性和完全模块化的;它可以无缝地应用于任何预先训练的模型之上。通过大量的实验表明，我们的方法在开集识别的内层分类和离群点检测两方面都优于现有的归纳和转导方法。
简介
关于少样本的转导学习：该学习方式可以学习到查询集的统计特征（但是不能学习到它的标签）。但是转导学习有个弊端，这样会让离群点unseen类不好统计（转导学习利用了支持集的特征，这样会导致向close-set上靠，导致不能判断出unseen类）。
贡献
针对transductive和open-set recognition问题，提出极大似然原理的泛化，该论文归纳嵌入了来自支持集的额外监督约束和惩罚抑制过度自信的预测。模型是完全模块化的;它可以无缝地应用于任何预先训练的模型之上。
实验设定
数据集
两个标准的少样本分类数据集——miniImageNet、tiered-ImageNet 三个跨域的少样本分类数据集——e Caltech-UCSD Birds、FGVC-Aircraft、Fungi
总结
我们提出了第一种FSOSR转导方法OSLO。OSLO在两个重要方面扩展了极大似然目标，首先，它解释了所提供的监督所施加的约束。更重要的是，它明确地在其非常潜在的模型中建模异常值的潜在存在，使其能够共同学习最优的封闭集模型和异常值分配。除了FSOSR之外，我们相信OSLO提供了一个通用的、概念简单的、完全模块化的公式，以利用可能存在异常值的未标记数据。当然，这自然会扩展到其他分类设置，如大规模开放集检测，但也会扩展到其他任务，如分割，背景像素可以被视为离群值相对于封闭集类。我们希望OSLO能够在这个方向上激发更多的工作。
Few-shot Open-set Recognition by Transformation Consistency（来源2021）
摘要
本文提出了一种结合了开放集识别(OSR)和少镜头学习(FSL)的开放集识别(FSOSR)问题。它的目标是快速调整模型以适应给定的小组标记样本，同时拒绝看不见的类样本。由于OSR需要丰富的数据，而FSL考虑的是封闭集分类，现有的OSR和FSL方法在解决FSOSR问题时表现较差。之前的FSOSR方法遵循基于伪不可见类样本的方法，即从其他数据集收集伪不可见样本或合成样本来建模不可见类表示。但是，这种方法严重依赖于伪样本的组合。在本文中，我们提出了一种新的未知类样本检测器，名为SnaTCHer，它不需要伪不可见样本。在转换一致性的基础上，我们的方法度量了转换后的原型与修改后的原型集之间的差异。修改后的集合由替换查询特征及其预测类原型组成。SnaTCHer拒绝与变形原型有很大差异的样本。我们的方法将看不见的类分布估计问题转变为一个相对特征转换问题，独立于伪看不见的类样本。我们用各种原型变换方法研究了我们的SnaTCHer，并观察到我们的方法在没有封闭集分类约简的情况下，不断地提高了看不见的类样本检测性能。
简介
传统
few-shot分类任务不能处理unseen类的问题，open-set recognition需要大量的数据集。few-shot open-set recogntion可以处理好以上两种情况。
本篇论文中，提及到之前FSOSR论文处理unseen类是借鉴额外的没有重叠的类别（但这种需求又十分考验伪unseen数据的来源，现实世界中是很难保证的）。在该论文中，训练过程不使用伪unseen类样本，而是使用transformation consistency是的样本直接保持紧密连接。
训练集的话，使用class representation vectors训练transformer形成任务-自适应特征空间。对于不可见类，首先是选择最近的transformed prototype，之后使用the query feature vector来替换selected class prototype。
这种方法将看不见的样本检测器的训练范式从估计看不见的样本分布转变为训练一个使用特征之间关系的特征转换器。
没有使用伪unseen标签，将unseen类选择出最近的可见类，然后使用the query feature vector来替换。因为不可见类趋向于形成一个与已知类显著不同的特征空间，这种替换方式可以保证unseen类远离已知类。
同时论文中也提及到跨领域FSOSR的情况，可以取得显著效果。
transformation consistency 起着重要的作用
贡献
- 论文提出了一种新的看不见的FSOSR样本检测器，名为
SnaTCHer，基于转换一致性。我们的SnaTCHer在没有伪不可见样本的情况下提高了不可见类样本的检测能力。 - 论文展示了伪不可见类基于样本的方法在FSOSR任务中的局限性。这些方法严重依赖于伪不可见的数据配置。
- 论文在不同的基准上对我们的方法进行了广泛的实验，并表明我们的方法在不损失分类性能的情况下，在看不见的样本检测中取得了最好的性能
实验
在实验过程中，我们将5个类设置为已知类，其他不重叠的5个类设置为未知类，组成单一的5-way episode。我们为每个类收集了15个实例作为查询，这导致了一个5-way事件的75个已知查询和75个未知查询。
我们采用了基于ResNet-12的体系结构进行特征提取。该特征提取器通过最后的平均池化层为输入图像创建640维的特征向量。我们用一个简单的分类器对提取器进行预训练，以对基本数据集中的所有类进行分类。分类器是一个完全连接的层。
总结
本文提出了一种新的不可见类样本检测方法，名为SnaTCHer，以解决FSOCR问题。SnaTCHer是无模型的，它可以直接应用现有的基于度量的few-shot学习方法。此外，我们的方法不需要额外的伪未知样本。我们对各种转换函数的广泛分析验证了SnaTCHer的效果。此外，通过与伪不可见相关方法的比较，验证了该方法防止伪不可见样本的有效性。
Few-Shot Open-Set Recognition using Meta-Learning
摘要
虽然以前的方法只是在大规模分类器训练的背景下考虑这个问题，但我们寻求一个统一的解决方案，这和少样本分类设置。经典的softmax分类器是开放集识别的一个糟糕的解决方案，因为它倾向于过度拟合训练类。然后提出了随机化作为这个问题的解决方案。这就需要将元学习技术(通常用于few-shot分类)用于开放集识别的解决。然后介绍了一种新的开放集元学习(PEELER)算法。这结合了每个episode对一组新类别的随机选择，使这些类别示例的后向熵最大化的损失，以及基于马氏距离的新的度量学习公式。实验结果表明，PEELER在few-shot和大规模识别中都达到了最先进的开放集识别性能。在CIFAR和miniImageNet上，对于给定的可见分类精度，该算法在可见/不可见分类检测AUROC方面取得了实质性进展。
introduction
大数据集下识别任务的多样性会导致性能的大量衰减，有很多方向处理这一情况：少样本学习、领域自适应、长尾分布。
让CNN具有self-awareness学习能力。问题会分成很多种：out-of-distrubution detection、realistic classification、open-set recognition。虽然已经提出了一些技术，一个流行的方法是迫使CNN在拒绝区域产生高熵后验分布。
论文将元学习这一思想推广到开放集识别，每一个epoch随机选择一组新颖的类，并引入一个损失，使这些类的例子的后验熵最大化。
论文也研究了在特征空间中使用的度量在开集识别性能上的作用，表明一种特殊形式的马氏距离使显著的增益超过常用的欧氏距离。
贡献
- 一种新的基于ml的开集识别方法。这将开放集推广到少数镜头识别集
- 一种新的情景训练程序，结合交叉熵损失和一种新的开放集损失，以改善开放集性能，无论是在大规模和
few-shot设置 - 基于高斯嵌入的开放集识别
open-set recognition 流程图
实验设定
数据集：
mini-ImageNet 64-16-20
训练： 5-way few-shot recognition setting。
训练集（均来源于close-set）：5个类别来源已知类，5个类别来源unseen类。
查询集（来源于 close-set 和 open-set）。
总结
在这项工作中，我们重新审视了在少镜头学习背景下的开放集识别问题。我们提出了一种元学习的扩展，包括开放集损失，以及一个更好的度量学习设计。由此产生的分类器为小imagenet上的少量开放集识别提供了一种新的技术统计。实验结果表明，该方法在进行少量修改的情况下，也可以应用于大规模识别，其性能优于目前的开放集识别方法。最后，利用XJTU-Stevens数据集验证了该模型在弱监督对象发现任务中的有效性。
