迁移学习何时有效？
迁移学习是一种广泛使用的技术，用于在标注训练数据稀缺时提高神经网络的性能。在利用有限数据对目标任务训练网络之前，可以先用数据更丰富的源任务对其进行预训练。这样，从预训练中获得的知识就可以迁移到目标任务中。
那么，迁移学习何时有效，何时无效？如果打算进行迁移学习，应该选择什么任务进行预训练？回答这些问题正是迁移性度量标准的宗旨，它们衡量预训练网络对新任务的适用性。
在今年（2020年）的国际机器学习大会（ICML）上，我们提出了一种新的迁移性度量标准。在我们的实验中，它被证明比现有指标更能预测迁移效果。
这项指标也比现有指标更通用：它有理论依据，并且不像以前的指标那样对源任务和目标任务之间的相关性做出强假设。
在我们的论文中，我们提供了理论分析，表明我们的度量标准——我们称之为LEEP（对数期望经验预测）——应该能提供良好的迁移性估计。
我们还进行了一系列实证测试，在23种不同的迁移设置中，将我们的指标与两个主要的先前指标进行比较。这些设置结合了三种迁移学习类型、两个图像识别源任务，以及涉及另外两个图像识别任务的不同训练数据子集的目标任务。
在这23项比较中的15项里，LEEP的预测结果与最终迁移模型的准确性之间的相关性优于另外两个指标。在某些情况下，差异非常显著——比第二好的指标提高了多达30%。
从下图（原文包含，此处为示意）可以看到，使用两个不同的源数据集，LEEP与最终迁移模型准确性的相关性非常好。
我们考虑的其中一种设置是元迁移学习，它是迁移学习和元学习的结合。在元迁移学习中，一个单一的深度学习模型在训练过程中被适配到许多新任务上，从而学会用极少的数据适应未见过的任务。
在该任务上，LEEP与最终模型准确性的相关性为0.591，而其他方法的相关性分别为0.310和0.025。我们相信LEEP是第一个适用于元迁移学习的迁移性度量标准。
如何计算LEEP？
LEEP测量的是训练好的机器学习模型与新任务标注数据集之间的可迁移性。例如，假设模型已经训练用于识别陆地动物图像，而目标任务是识别海洋动物。
LEEP过程的第一步是使用训练好的模型对目标任务的训练集中的数据进行分类。生成的分类结果是虚拟标签：例如，陆地动物分类器可能将海豹识别为狗，将海马识别为长颈鹿。但这对于迁移性预测的目的而言并不重要。
对于训练集中的每个示例，我们都有正确的标签，因此下一步是计算给定训练模型虚拟分类的目标任务标签的条件概率——即一个被分类为狗的示例实际上是海豹、海马、鲨鱼等的概率。
最后，我们设想一个分类器，它将根据该条件分布为每个输入随机选择一个虚拟标签，并基于该虚拟标签随机选择一个目标任务标签。
LEEP是这个假设性分类器在目标任务训练集数据上的平均对数似然。对数似然是衡量统计模型拟合特定数据样本集合程度的标准指标，因此LEEP告诉我们这个假设性分类器对目标任务训练集的拟合程度。这使它成为一个易于解释且准确的度量标准。
LEEP的潜在应用
我们认为LEEP有几个潜在应用。
首先，它可用于为迁移学习选择源模型。它还可以帮助为多任务学习选择高度可迁移的任务组，其中单一的机器学习模型同时针对多个任务进行训练。
LEEP也可能对机器学习和算法中，有助于最大化特定数据训练效果的超参数的迁移和优化有用。
