多目标跟踪评价指标及其计算方式

1,791 阅读2分钟

基于MOT的benchmark记录相关的评价指标以及其计算方式和意义

MOTA ( Multiple Object Tracking Accuracy)

在这里插入图片描述

MOTA计算所有帧的匹配情况,t为帧数,FN为False Negative,FP为False Positive,IDSW为ID Switch,GT为Ground Truth 物体的数量,计算所有帧的漏检数和误检数以及ID发生变化的情况。 上述公式可以拆解成三块 tFNttGTt\frac{\sum_t{FN_t}}{\sum_t{GT_t}},tFPttGTt\frac{\sum_t{FP_t}}{\sum_t{GT_t}},tIDSWttGTt\frac{\sum_t{IDSW_t}}{\sum_t{GT_t}} 其中FN和FP主要是观测检测器性能, 而IDSW是同时观测检测器和跟踪器的性能,

MOTP (Multiple Object Tracking Precision)

在这里插入图片描述

其中d为distance,指在第t帧检测到的目标i与对应的gt之间坐标框的差异,一般采用iou或者欧式距离。 ct为在第t帧匹配到的目标数。

IDF1(Identification F-Score)

在这里插入图片描述

在跟踪中,IDTP和IDFP以及IDFN的计算规则如下

在这里插入图片描述

图中再每次id变化的第一帧都为FP,若没有检测到则为FN,若前后帧ID一样则为FP。

MT (Mostly Tracked)

满足Ground Truth至少在80%的时间内都匹配成功的track,在所有追踪目标中所占的比例。这里的匹配成功不考虑ID是否发生变化,主要衡量的是检测器的性能

ML(Mostly Lost)

满足Ground Truth仅在小于20%的时间内匹配成功的tracks,在所有追踪目标中所占的比例。

Rcll (Recall)

衡量检测器性能,检测器中检测出的正确目标除以总数。

Rcll=tTPttGTtRcll=\frac{\sum_tTP_t}{\sum_tGT_t}

HOTA(Higher Order Tracking Accuracy)

在这里插入图片描述

    ![在这里插入图片描述](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9332d44b97f94c91b964ee02a17e5e0b~tplv-k3u1fbpfcp-zoom-1.image)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

结合图片梳理下TPA(True Positive Associations),FPA(False Positive Associations),FNA(False Negative Associations)

在这里插入图片描述

根据上述我们可以看出来HOTA是对序列的粘合程度进行量化的。

TPA_c:在图中对于c而言就是预测C时的ID所有轨迹中和C实际轨迹匹配的那些目标

FPA_c: 在图中预测c时的id的所有轨迹中与c的实际轨迹没有匹配的目标

FNA_c: 在图中c的真实轨迹和预测轨迹没有匹配的目标