介绍

本文提出了协同感知任务：在带宽有限的前提下，通过其它智能体帮助改善感知退化智能体的感知能力。即

• 最大化下游感知任务精度
• 最小化带宽使用

如下图，通过 Normal 1/2/3 来协助感知退化的 Target 感知。

相关工作

• 一方面，部分现有工作在通信期间，将信息和数据发送到所有智能体，不考虑带宽问题；

• 另一方面，通过建立通信组或统一通信网络来进行多智能体通信，带宽使用与智能体数量直接相关

方法

灵感：三次握手

• Request：群发消息
• Match：接收者结合 Message 根据自身 Key 给出匹配 Score
• Connect：与 Score top-i 进行连接

$G_m$ 是 message 生成器，$G_k$ 是 key 生成器

实验

数据集

在模拟器中五台无人机飞出来的数据集

实验设置

四组实验（语义分割）：

• Waypoint Following
  • Hidden Target View：将一个 Normal View 替换为 Target 的 Ground-truth，测试模型寻找这个 View 的能力
  • No Target View (Accurate Pose)：Normal View 和 Target View 只有部分重叠，通过给予 Normal 正确的深度信息和姿态信息，测试模型寻找有重叠的 Normal View 的能力
  • No Target View (Inaccurate Pose)：给位置信息加入了噪声
• Random Exploration
  • No Target View (Accurate Pose)：Agent 轨迹随机更符合实际情况

Baselines

• 单正常图像作上限，单退化图像作下限
• Centralized (使用 Target 和所有 Normal 的特征图)
  • CatAll：将所有特征图进行 Concat 作为语义分割输入
  • Attention：加权
  • Compression：压缩 25%
• Distributed (进行 top-i 选取)
  • Random selection：随机选取一个 Normal Agent 的特征图用于协同感知
  • ours w/ msg：本文提出的握手机制选取 who2com
  • ours w/o msg：将消息设置为常量，验证 message request 的必要性

实验结果

思考

• Message / key 是怎么生成的？
• 文中只使用 top-1 进行协同，并且对所有 Normal Agent 进行了请求，是否产生了不必要的计算？
• 数据和代码均未开源