介绍及相关工作

本文与 Who2com 为同一作者，他指出 Who2com 的不足：

Who2com 假设任一 Agent 可能与其它所有 Agents 进行通信

浪费带宽的同时，可能会有 Agent 收到有害 Message，由此引出本文的关注点：

• 建立通信组，降低通信网络复杂度
• when2com

方法

建立通信组

在 who2com 的基础上，利用握手机制得到连接权重，随后根据权重进行剪枝，得到可能有协同关系的通信组。

when2com

在需要其它 Agent 协同的时候开启通信，不需要时关闭通信以节省带宽，这自然是协同感知需要做到的，即 When2com。

在本文中，每个 Agent 会根据自身的感知结果生成一个 Query 和一个 Key，自身的 Query 在和别的 Key 进行匹配得到协同目标的同时，受自注意力机制启发，每个 Agent 的 Query 和 Key 会进行一次自匹配计算，以决定现在是否需要进行协同感知。由此，生成了一个如下图所示的邻接矩阵。

实验

2D 协同语义分割

• SRMS (Single-Request Multiple-Support)

  随机给一个 Agent 添加噪声，但是要把该 Agent 的未退化的感知保留，并用其替换掉一个其它的 Agent。目的是检验模型能否学习到 when and who 2com

• MRMS (Multiple-Request Multiple-Support)

  多个 Agents 退化，但假设每个退化感知的协同者有对应的未退化感知，即所有 Agents 均可形成有效协同

• MRMPS (Multiple-Request Multiple-Partial-Support)

  去掉 MRMS 中的假设，可能不能形成有效协同（感知部分重叠），每个 Agent 需要尽最大可能寻找有利的协同者

Multi-Agent 三维形状分类

不关注该实验

思考

• who2com 通过与所有 Agents 进行握手，决定与 top-i 进行通信。
• when2com 在 who2com 的基础上，通过自注意力能够判断什么时候进行通信，即 when2com。并且根据握手机制得到的邻接矩阵划分通信组，节省带宽。
• 本文有代码：[GT-RIPL/MultiAgentPerception: Official source code to CVPR'20 paper, "When2com: Multi-Agent Perception via Communication Graph Grouping" (github.com)]