击败人类推理水平：深度拆解 DeepMind 关系网络 (RN)

拖拖765
3 阅读4分钟

在人工智能领域，识别一张照片里有“猫”已经不再是难事。但如果你问 AI：“那个红色金属圆柱体左边的蓝色球体，和右边那个最大的方块材质一样吗？”——这便涉及到了机器长期以来的短板：关系推理（Relational Reasoning） 。

2017 年，DeepMind 提出了 关系网络 (Relation Networks, RN) ，不仅在 CLEVR 视觉推理数据集上取得了超越人类的准确率，还开创了一套简单、高效的通用关系建模方案。

1. 论文背景：为什么需要 RN？

传统的深度学习架构各有千秋：CNN 擅长捕捉空间特征，RNN 擅长处理序列依赖。然而，它们在处理“实体间复杂逻辑”时往往表现得非常吃力。

  • 符号 AI：逻辑性强，但难以处理原始像素数据。
  • 统计学习（深度学习） ：擅长模式识别，但对物体间的稀疏且复杂的逻辑关系缺乏敏感度。

Relation Networks 的出现，通过在架构中引入归纳偏置（Inductive Bias） ，强迫模型去关注“成对物体”之间的关联，从而填补了这一空白。

2. 核心公式：极简即美

RN 的数学表达式极其简洁，它被定义为一个复合函数：

RN(O)=fϕ(∑i,jgθ(oi,oj))RN(O) = f_\phi \left( \sum_{i,j} g_\theta(o_i, o_j) \right)

  • OO (Objects) ：输入的物体集合。在图像中，可以是特征图上的像素块；在文本中，可以是句子的嵌入向量。
  • gθg_\theta (Relation Function) ：一个多层感知机（MLP），负责计算任意两个物体 oio_i 和 ojo_j 之间的“关系”。
  • ∑i,j\sum_{i,j} (Aggregation) ：将所有可能的物体对产生的关系信息进行求和聚合。
  • fϕf_\phi (Post-processing) ：另一个 MLP，对汇总的关系信息进行综合分析，输出最终答案。

3. 创新点与关键技术

  • 全对组合（All-pairs comparison） ：RN 并不预设哪些物体有关联，而是遍历所有可能的 n2n^2 个组合，让模型在训练中自动学会忽略无关干扰，提取关键联系。
  • 顺序不变性（Order Invariance） ：由于采用了 ∑\sum 加和操作，无论物体以什么顺序输入，输出结果都保持一致。
  • 坐标注入（Coordinate Injection） ：在处理视觉任务时，研究者在每个特征向量中加入了坐标信息 (x,y)(x, y)。这让模型能够理解“上方”、“左侧”等空间方位。
  • 即插即用（Plug-and-play） ：RN 像一个增强插件，可以无缝连接在 CNN（用于视觉提取）或 LSTM（用于语义提取）之后。

4. 实际应用场景

  1. 视觉问答 (VQA) ：在自动驾驶或安防领域，判断多目标之间的相对位置和交互状态。
  2. 动态物理推理：通过观察物体运动轨迹，推测它们之间是否存在不可见的物理约束（如弹簧连接、引力等）。
  3. 文本逻辑推导：在多文档综述中，关联不同上下文中的实体，寻找隐藏的逻辑链。
  4. 科学发现：在蛋白质或分子结构分析中，识别原子间复杂的相互作用规律。

5. 动手实践：最小可运行 Demo

以下是基于 PyTorch 的 RN 核心逻辑实现。它展示了如何处理一组物体特征并输出关系判断。

Python

import torch
import torch.nn as nn

class RelationNetwork(nn.Module):
    def __init__(self, obj_dim, hidden_dim):
        super().__init__()
        # g_theta: 学习物体间的关系
        self.g_theta = nn.Sequential(
            nn.Linear(obj_dim * 2, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU()
        )
        # f_phi: 汇总推理
        self.f_phi = nn.Sequential(
            nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, 1),
            nn.Sigmoid()
        )

    def forward(self, x):
        # x shape: (batch, num_objects, features)
        b, n, d = x.size()
        
        # 构造所有物体对 (n*n 个组合)
        x_i = x.unsqueeze(1).repeat(1, n, 1, 1) # (B, n, n, d)
        x_j = x.unsqueeze(2).repeat(1, 1, n, 1) # (B, n, n, d)
        pairs = torch.cat([x_i, x_j], dim=3)    # (B, n, n, 2*d)
        
        # 计算每一对的关系并求和
        rel = self.g_theta(pairs)               # (B, n, n, hidden)
        rel_sum = rel.sum(dim=(1, 2))           # 对所有对进行聚合 (B, hidden)
        
        return self.f_phi(rel_sum)

# 模拟输入：1个 Batch，5个物体，每个物体10维特征
model = RelationNetwork(obj_dim=10, hidden_dim=32)
input_data = torch.randn(1, 5, 10)
output = model(input_data)
print(f"Relational reasoning output: {output.item():.4f}")

总结

Relation Networks 证明了结构驱动功能。通过一个简单的“全成对比较”机制，它赋予了神经网络原本欠缺的逻辑深度。在通向通用人工智能（AGI）的道路上，这种能够理解“实体与关系”的架构无疑是至关重要的一步。

avatar
文章
阅读
粉丝