SORT 是实时 MOT 的开山之作,是后续许多研究的基础,本文来解读一下发表在 ICIP 16 的 SORT 原论文 SIMPLE ONLINE AND REALTIME TRACKING。
介绍及相关工作
作者将 MOT 看作关联视频序列各帧检测对象这样一个数据关联问题。传统方法使用 Multiple Hypothesis Tracking (MHT) 或 Joint Probabilistic Data Association (JPDA) 解决 MOT 问题,但这类方法难以用于实时应用。
数据
输入
选取 MOT15 中的 11 个片段作为测试数据,作者在代码库中给出了 11 个序列的目标检测结果,如下图所示,每个序列用一个 txt 文件表示,其中每行表示一个目标的检测结果。
1,-1,1691.97,381.048,152.23,352.617,0.995616,-1,-1,-1,第一位表示帧数,3-6 表示 x,y,w,h,第七位是置信度。
输出
输出也是每个片段的追踪结果用一个 txt 文件表示,每行表示一个目标,1,8,0.00,265.37,109.77,381.33,1,-1,-1,-1,第一位为帧数,第二位为 id, 3-6 位为 x,y,w,h,第七位固定为 1。
方法
检测
作者在同一追踪器下对比不同检测器带来的性能影响,可以发现检测效果直接决定着跟踪效果。
状态估计
状态估计是指估计出历史轨迹的当前帧状态,融合预测模型预测出的状态和当前帧的观测状态。
本文作者使用 u,v,s,r,u',v',s' 来表示某个目标的状态,分别表示目标的中心点位置、面积、长宽比及相应的变化率(使用线性恒速模型来估计帧间位移)。
对于关联上检测结果的目标,利用该检测结果和预测的结果更新目标状态。对于未关联上目标检测结果的轨迹,直接使用恒速模型预测进行状态估计,不利用当前帧观测进行修正。
数据关联
由历史轨迹预测出的位置和当前帧的检测结果做数据关联,采用 IOU 作为代价矩阵,设置产生关联的最小 IOU 阈值,利用匈牙利算法求解。
航迹开始和结束
关联 IOU 小于阈值的检测视为新目标进入试用期,代码中 min_hits=3,速度设为 0,协方差最大化表示其不确定性。
本文中将超过 帧未匹配的轨迹删除。