Ranking Loss | 青训营笔记

518 阅读1分钟

ranking loss在很多不同的神经网络结构中被广泛使用。在不同应用场景下,ranking loss拥有了很多别名:Contrastive Loss(对比损失)、Margin Loss(边缘损失)、Hinge Loss(铰链损失)以及Triplet Loss(三元组损失)。

度量学习

  • 普通损失函数目标

    交叉熵损失和均方差损失的目的在于直接预测标签或回归逼近真实值

  • Ranking Loss目标

    Ranking Loss的目标在于预测输入样本之间的相对距离,该任务被称为度量学习(Metric Learning)

Ranking Loss表达式

  • 二元组的训练数据

image.png

  • 三元组的训练数据

image.png

Ranking Loss用来衡量正样本、负样本之间的差异性

Ranking Loss的别名

  • Ranking Loss:信息检索领域,期望对检索项目进行排序
  • Margin Loss:来源于Ranking Loss使用边界比较样本之间的嵌入表征距离
  • Contrastive Loss:Contrastive表示损失函数在对比多个数据点差异性的过程中进行计算
  • Triplet Loss:在三元组采样时候被使用
  • Hingle Loss:也称为max-margin objective,通常在分类任务中训练SVM中使用