摘要

配准图像中存在的结构对应性缺失与局部复杂大形变给非刚性图像配准准确寻找一一映射形变变换带来了极大挑战。传统配准方法以及基于深度学习配准方法都不能处理好此类图像配准异常难题。基于全局到局部的递进深度网络策略，该文提出了配准图像联合显著结构上下文信息增强的无监督式深度配准网络。其中，全局到局部的卷积网络通过将待配准图像输入到结果形变场输出的复杂映射分解为两个更易求解的全局映射与局部映射网络，同时结合配准图像联合显著结构上下文信息双向加强网络的学习训练，实现了精确、鲁棒、高效的联合显著图强化形变配准网络，有效地解决了既存在结构对应性缺失又存在局部复杂大形变的图像配准难题。

内容

1.原理与方法

整个配准网络的计算流程如下图所示。其中大小为M×N的输入图像存在图像结构对应性缺失与局部复杂大形变的待配准图像对<IF, IM>∈RM×N，网络输出为待配准图像对应像素之间一一对应形变位移场，该输入图像到输出形变场u∈RM×N×2的映射是一个不易直接被深度网络学习的复杂非线性映射T={<IF,IM>→u}。我们采用分而治之的策略，将该复杂映射T的学习分解为两个更容易通过卷积网络求解的子映射学习问题，最后通过学习到的子映射组合得到精确的图像对到形变场的非线性映射变换。具体来说，一级卷积网络为全局估计网络，旨在学习到从输入图像到粗糙预测形变场的全局形变场估计映射Tglobal，而后一级卷积网络为局部修正网络，它在全局估计基础上学习从粗糙预测形变场到精确预测形变场的局部修正映射Tlocal。 下图中，从左往右的箭头线表示前向预测过程，依次经过：① 全局估计网络；② 联合显著度提取得到联合显著图；③ 局部修正网络。下图中从右向左虚线箭头线表示的网络反向更新计算过程，依次反向更新局部修正网络、全局估计网络。其中，联合显著度既辅助了局部修正网络的前向预测过程，也指导了全局估计网络的反向更新过程。

1.1 全局估计网络

全局估计网络旨在直接学习待配准图像对到对应形变场的非线性映射，着力估计较容易配准的正常区域的可靠形变场。而在复杂局部形变区域以及存在图像结构对应性缺失的区域，预测位移向量会存在较大的误差，因此第一级输出的形变场称为粗糙形变场。我们的全局预测网络选择的是调整后的FlowNet（原文链接）的模型结构。该网络是由前半部分的特征编码网络、后半部分的解码网络以及跨级拼接连接组成。其中，特征编码网络负责图像特征提取、抽象组合；解码网络则利用提取出来的特征进行预测，得到相应的形变场。跨级连接则让底层的图像特征也能够预测，为预测形变场提供细节信息。

1.2 联合显著图提取

我们将一种基于局部边缘结构的联合显著图引入网络中，作为一种指示并区分图像结构异常区域与结构对应可靠像素区域的鲁棒性机制。对于每个像素点的预测形变向量，联合显著图通过比较来自目标图像与粗糙形变后浮动图像之间局部结构是否同时显著且正确对齐，来鲁棒地区分并抑制结构对应性缺失及局部大形变的区域。

1.3 局部修正网络

图3显示了利用回归提升机制实现的局部修正网络结构，该网络着重对存在结构对应缺失与局部大形 变的区域进行局部自适应的回归提升。给定粗糙预测形变场ucoarse∈RM×N×2（图3右侧前两个矩形）及相应的联合显著图JS∈RM×N（图3右侧最后一个矩形），我们将粗糙预测形变场与联合显著图按照空间方向拼接得到输入矩阵X∈RM×N×3。局部回归修正网络是由核大小均为、核个数依次分别为128、64、32、2的四个卷积层组成。其局部回归修正映射可表示为：

其中，从输入到输出顺序，核函数依次为W128，W64，W32，W2，卷积层的偏移量依次为b128，b64，b32，b2，其中f为卷积层的非线性激活函数。与固定局部回归核函数尺度、需要额外选择尺度的传统计算方法相比，局部回归修正网络利用多个卷积层的层次组合与可学习任意形式的核函数设计机制，实现了灵活、简洁的局部回归修正函数。该局部修正网络训练得到的核函数具有任意类型核函数，而传统卷积核回归中只使用特定类型的核函数。同时，等价核函数中有效的作用窗宽尺度具有灵活的形状。如下图左边所示，来自四个卷积层的3×3核函数卷积组合成了一个范围为9×9大小的等价核函数。

2.实验结果与讨论

2.1 实验采用的数据集

1.MNIST为数字“0”到“9”手写字符数据集链接

2.LVQU为心脏运动数据集

2.2 实验所选用的对比方法

1.三种传统配准方法分别是Demons、ANTS、DRAMMS

2.两种新的无监督式配准方法DIR、VMorph链接

2.3 实验结果评价标准

1.标记点误差

2.图像结构相似度SSIM

原文链接