论文解读 | SIMPLE ONLINE AND REALTIME TRACKING

310 阅读2分钟

image.png

SORT 是实时 MOT 的开山之作,是后续许多研究的基础,本文来解读一下发表在 ICIP 16SORT 原论文 SIMPLE ONLINE AND REALTIME TRACKING

介绍及相关工作

作者将 MOT 看作关联视频序列各帧检测对象这样一个数据关联问题。传统方法使用 Multiple Hypothesis Tracking (MHT)Joint Probabilistic Data Association (JPDA) 解决 MOT 问题,但这类方法难以用于实时应用。

数据

输入

选取 MOT15 中的 11 个片段作为测试数据,作者在代码库中给出了 11 个序列的目标检测结果,如下图所示,每个序列用一个 txt 文件表示,其中每行表示一个目标的检测结果。 1,-1,1691.97,381.048,152.23,352.617,0.995616,-1,-1,-1,第一位表示帧数,3-6 表示 x,y,w,h,第七位是置信度。

image.png

输出

输出也是每个片段的追踪结果用一个 txt 文件表示,每行表示一个目标,1,8,0.00,265.37,109.77,381.33,1,-1,-1,-1,第一位为帧数,第二位为 id3-6 位为 x,y,w,h,第七位固定为 1

方法

检测

作者在同一追踪器下对比不同检测器带来的性能影响,可以发现检测效果直接决定着跟踪效果。

image.png

状态估计

状态估计是指估计出历史轨迹的当前帧状态,融合预测模型预测出的状态和当前帧的观测状态

本文作者使用 u,v,s,r,u',v',s' 来表示某个目标的状态,分别表示目标的中心点位置、面积、长宽比及相应的变化率(使用线性恒速模型来估计帧间位移)。

对于关联上检测结果的目标,利用该检测结果和预测的结果更新目标状态。对于未关联上目标检测结果的轨迹,直接使用恒速模型预测进行状态估计,不利用当前帧观测进行修正。

数据关联

由历史轨迹预测出的位置和当前帧的检测结果做数据关联,采用 IOU 作为代价矩阵,设置产生关联的最小 IOU 阈值,利用匈牙利算法求解。

航迹开始和结束

关联 IOU 小于阈值的检测视为新目标进入试用期,代码中 min_hits=3,速度设为 0,协方差最大化表示其不确定性。

本文中将超过 Tlost=1T_{lost}=1 帧未匹配的轨迹删除。