An Unsupervised Approach for 3D Medical Image(Learning Notes)

315 阅读3分钟

摘要

可变形图像配准在许多临床应用中非常重要。在本文中,我们提出了一种无监督端到端三维医学图像配准方法。该方法以一对浮动图像和固定图像为输入,直接估计空间变换参数,使空间变换层生成配准图像。特别的,配准网络是一个M-Net,该架构由编码路径、解码路径、左腿和右腿组成。此外,我们引入了一个新的损失函数来指导训练。该方法在ADNI公共脑图像数据集上进行了评价。实验结果表明,我们的方法取得了令人满意的性能。

内容

1.相关工作

1.1 图像配准的相似性度量

1.互信息(MI)

2.绝对插值之和(SAD)

3.归一化互相关(NCC)

1.2 基于变换估计的图像配准

与基于相似性度量的迭代优化策略不同,基于变换估计的图像配准直接预测图像之间的变换参数。 包括有监督的配准和无监督的配准。

1)有监督的配准

Miao,s等人,在2016年提出了一种采用分层CNN回归估计2-D/3-D配准的变换参数。

Chee, E等人,在2018年提出了一种用于仿射3D图像配准的自监督网络—AIRNet,可以一次完成配准。

Fan 等人,提出了一种利用多尺度输入和分层损失的双监督注册网络。

2)无监督的配准

Bob等人,提出了一种无监督可变形图像配准网络,该网络通过优化一个特殊的相似性度量来训练网络,

Cao等人,提出了一种CT和MR图像的非刚性模态间配准方法。他们利用通道内相似性度量来指导训练过程,以获得更准确的结果。

Balakrishnan等人,提出了一个无监督信息的VoxelMorph配准网络,在很短的时间内完成了配准

Kuang等人,提出了一种适用于T1加权脑部MR图像可变形配准的类似结构。

2. 具体过程

2.1 方法流程图

如下图所示,我们将固定图像F和浮动图像M连接起来作为输入。配准网络输出配准区域ϕ\phi,其允许使用空间变换层将浮动图像变换为固定图像。为了有效地进行训练,引入了一种新的损失函数来优化注册网络。

2.2 M-Net网络结构图

2.3 损失函数

损失函数如下图所示。

其中, 另外,

3. 文章实验部分

3.1 数据集

本文在大脑图像数据集ADNI(阿尔茨海默病神经成像计划)上进行了评估。

图像预处理包括颅骨剥离、裁剪、灰度归一化和仿射对齐

具体地说,Freesurfer用于执行颅骨剥离,而Ants用于执行仿射对齐。经过预处理后,所有图像的大小均为166×\times192×\times224,分辨率均为1×\times1×\times1。

3.2 实验结果评价标准

1)骰子相似系数(DSC)

2)ANTs工具箱中的SyN

原文链接