多目标跟踪数据集与评估指标

668 阅读3分钟

数据集( 行人)

image.png

image.png

MOT Benchmark

motchallenge.net/data

评估指标

image.png

跟踪指标按不同种类分为四个子集:

  1. 准确性。这种度量衡量算法跟踪目标的精度。ID switches(IDsw)计算MOT算法在对象之间切换的次数。多目标跟踪精度(MOTA)度量将误报率、误报率和失配率组合为一个数字,为整体跟踪性能提供了一个相当合理的数量。尽管存在一些缺点和批评,但这是迄今为止最广泛接受的交通部评估标准。

  2. 精度。有三个指标,多目标跟踪精度(MOTP)、跟踪距离误差(TDE)和OSPA。它们描述了通过边界框重叠的和/或距离来测量对象的跟踪精度。

  3. 完整性。完整性指标指示跟踪地面实况轨迹的完整程度。大部分跟踪(MT)、部分跟踪(PT)、大部分丢失(ML)和碎片(FM)的数量属于该集合。

  4. 鲁棒性。为了评估MOT算法从遮挡恢复的能力,引入了称为从短期遮挡恢复(RS)和从长期遮挡恢复(RL)的度量。

基本指标

  • GT:Ground Truth,是指真实的标签或真实的对象
  • TP:真正(True Positive)是指被模型预测为正的正样本(或被检测出来的GT)
  • TN:真负(True Negative)是指被模型预测为负的负样本。
  • FP:假正(False Positive,)是指被模型预测为正的负样本,也称为误报。
  • FN:假负(FALSE Negative,)是指被模型预测为负的正样本,也称为漏报

image.png

MOTA

image.png

  • 其中t是帧索引,GT是真实目标的数量。

  • FN是假阴性,即该方法未检测到的真实目标的数量。

  • FP是假阳性,即该方法错误检测到但不存在于真是目标中的对象数。

  • IDSW是ID转换的次数,即给定轨迹从一个地面实况对象到另一个的变化次数。

所以MOTA的百分比范围是(−∞, 100],如果跟踪器产生的错误数量超过场景中所有对象的数量,则MOTA也可以为负值。

MOTP

多目标跟踪精度(MOTP)是所有真正目标与其对应的地面真实目标之间的平均相异度。对于边界框重叠,计算如下:

image.png

  • ct 表示第t帧中预测轨迹和GT轨迹成功匹配上的数目
  • dt,i 表示t帧中第i个匹配对的距离(最后呈现为真实目标被box重叠的数量)。这个距离可以用IOU或欧式距离来度量,IOU大于某阈值或欧氏距离小于某阈值视为匹配上了。可以看出来MOTP这个指标相比于评估跟踪效果,更注重检测质量。 因此,MOTP给出了𝑡𝑑 在所有正确匹配的假设及其各自的对象之间,范围是[50%,100%]

IDP IDR IDFI

我们可以计算真阳性ID(IDTP)、假阴性ID(IDFN)和假阳性ID(IDFP)的数量。基于这些量,我们可以将识别精度(IDP)表示为 image.png