Multi-object tracking(MOT)任务简介

532 阅读1分钟

任务

主要用于视频处理,在每个视频帧中绘制出跟踪的目标

image.png

输入与输出

  • 输入:视频帧序列
  • 输出:目标的轨迹以及唯一ID(每个目标用一个边界框进行框定表示)

image.png

MFT与TBD

image.png

MOT问题的关键

MOT问题可以看作是数据关联问题,目的是将视频序列中跨帧的检测关联起来

image.png

主要步骤(以TBD为例)

image.png

输入视频序列 ——> 目标检测器 ——> (预处理) ——> 特征提取 ——> 数据匹配 ——> 追踪管理 ——> (后处理) ——> 输出结果

  • 预处理:非极大抑制 non-maximum suppression (NMS)、置信度过滤 confidence filter (CF)
  • 后处理: To reduce the potential false-positive tracks or remove false positive detection from the trajectory, matched frames threshold (MAF) is used as a post-processing technique

挑战

  1. ID Switching:发生在两个相似的物体重叠或混合时,导致身份切换;因此,很难跟踪对象ID。
  2. ** 背景失真**:复杂的背景使得在物体检测过程中难以检测到小物体
  3. 遮挡:对象被另一个对象隐藏或遮挡时会产生这个问题。
  4. 变形:多个空间空间、变形或对象旋转
  5. 运动模糊:由于运动模糊而在相机上捕获的视觉条纹或拖尾