介绍
本文的关注点是:协同感知中不同车辆的感知模型参数不同,用不同模型做协同存在 Domain Gap,属于 域适应 的研究范畴。并且感知模型的参数也属于商业隐私,不会被直接共享。
本文主要关注后融合的检测任务,之所以没有关注最常见的特征级融合,是因为特征级融合受模型的差异影响很大。 直接做后融合只需要考虑候选框和置信度,但可能会由于 over-confident 和 low-quality 的 Agent 导致检测效果不好。
下图 a,b) 反应了高置信度的感知可能是错误的,而正确的感知可能不是置信度最高的那个
相关工作
Confidence Calibration
一个没有接触过的新领域,本文用 Temperature Scaling 校准神经网络
Bounding Box Aggregation
bbox 聚合一般采用 NMS,但由于其使用相对置信度,忽略了绝对置信度和空间信息,也有一些工作建立在这上面
方法
pipeline
每个车辆所使用的检测模型需要先在公开数据集上跑一下得到校准数据集,然后通过校准数据集训练calibrator,并将 calibrator 部署到 Agent 上。
在推理阶段,不同车辆的感知结果先送入 calibrator 将置信度校准到统一标准,随后将感知结果(置信度、bbox)发送到其它 Agents 做协同,Promote-Suppress Aggregation 模块负责融合校准过置信度的多个 bbox
置信度校准
使用 Kumaraswamy Cumulative Density Function 做校准
聚合 bbox
使用图的方法在一堆重叠的 bbox 中选取最优 bbox