开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第7天，点击查看活动详情

本文是遥感图像道路提取方法 RCFSNet 的学习笔记

介绍

任务

在遥感图像中提取道路，是二分类图像分割任务，即判断每个像素是否为道路像素

难点

1. 大量地面物体占据了图像的主要部分，道路像素仅占一小部分
2. 建筑物和树木影响推理结果的连通性

研究现状

U-Net

Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.

U-Net 是图像分割中深度学习方法的基石，网络采用 Encoder - Decoder 架构，整体呈 U 型

左半边为编码器，主要为卷积和下采样操作；右半边为解码器，主要为卷积和上采样操作

编码器和解码器对应层之间有一个对齐和拼接，为了保留更多的因为下采样而损失的空间信息

LinkNet

Chaurasia, Abhishek, and Eugenio Culurciello. "Linknet: Exploiting encoder representations for efficient semantic segmentation." 2017 IEEE Visual Communications and Image Processing (VCIP). IEEE, 2017.

D-LinkNet

Zhou, Lichen, Chuang Zhang, and Ming Wu. "D-LinkNet: LinkNet with pretrained encoder and dilated convolution for high resolution satellite imagery road extraction." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018.

DLinkNet 是 2018 CVPR WORKSHOP DEEPGLOBE 道路提取任务的冠军方法，整体为 U-Net 架构

它的 PART A 采用 ResNet 作为 Encoder，PART C 为 Decoder

PART B 为级联和平行的空洞卷积，使用空洞卷积的目的是为了不继续降采样就达到增加感受野的作用，保留了一定的空间信息

方法

整体依旧为 U-Net 架构，以 DLinkNet 为基础，加入了 MSCE 模块来进行多尺度的语义提取，为了提升处理被遮挡道路的效果；加入 FSFF 模块融合全阶段的特征，为了准确获得所有道路的结构信息

MSCE

MSCE 模块的主题为普通空洞卷积支路（3×3）、水平空洞卷积支路（1×3）、垂直空洞卷积支路（3×1），空洞率为1、2、4，同支路融合，不同支路拼接。此外，还有一个水平和垂直的池化层，用来获取道路的总体特征

FSFF

FSFF 将编码阶段得到的各个特征图进行对齐、拼接操作送入协同双注意力机制模块，分别按通道、位置进行加权处理

CCAM 分别在高度和宽度上做池化，Reshape 后进行通道数为 1 的卷积操作学习相邻通道的关系，Reshape 后送入激活函数获得 C × 1 × 1 的通道权重，对输入进行加权后拼接作为输出

CPAM 首先在通道上做池化，随后分别在高度和宽度上进行卷积操作，经过激活和 expand 获得 1 × H × W 的空间权重，最后进行加权、拼接

实验

数据集

DeepGlobal 下载地址：遥感影像分割——DeepGlobe Road Detection Challen - 飞桨AI Studio (baidu.com)

Massachusetts