H-DnseUnet

739 阅读2分钟

论文:H-DnseUnet:Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes

1、摘要:

  • 使用2D DenseUNet来提取切片内的特征,用3D DenseUNet来提取切片间的特征,最后使用混合特征融合的方法将片内特征和片间特征联系起来。
  • 获得很高的性能表现,且减少运算量和计算时间。

2、Method

  • 先用一个resnet提取粗略的肝脏ROI。
  • 再用H-DenseUNet对提取的ROI提取片间和片内特征。2D DenseUNet提取片内特征,3D DenseUNet提取片间特征

2.1 2D DenseUNet和3D DenseUNet

背景信息

  • 解决的问题:①FCN使用max pool丢失大量的底层信息。②DenseNet主要应用于分类
  • why可解决:①Dense Connection,可在每一个小块中保证尽量多的信息传递。②UNet的skip connection可保证底层信息的传递。
  • 注意:文中使用的不是maxpooling,而是average pool。
  • 文中的2D和3D的输入的slices分别是:3和12,对于一张3D图像有多个batch。然后再使用HFF混合特征融合。

架构:Dense + Unet

架构:2D DenseUNet+3D DenseUNet

  • ①将一个3D Image分为n个size为224x224x12的图像作为输入。
  • ②将224x224x12的图像分割拆分为224x224x3、224x224x12分别作为2D DenseUNet和3D DenseUNet的输入。
  • ③将来自三个不同的输入concatenate起来作为3D DernseUNet的输入。

困惑

  • 还是不太理解2.5D神经网络的通道数为什么是1?因为将其看作是一个三通道的特征图。
  • 为什么文中说2D和3D DenseUNet可joint train呢?且在3D中使用counterpart?

2.2 H-DenseUNet

HFF混合特征融合

  • ①将2D和3D网络的输出相加作为HFF的输入。

困惑:文中并没有对混合特征HFF公式进行细说?

补充

  • 2.5D卷积神经网络:使用的是2D的卷积神经网络,但是输入的不是2D,而是5个切片堆叠在一起。5个切片同时输入可以提供额外的纵向上下文信息,并且减少运算量。同时,横向(片内)特征占比较多,更有利于分割。论文标题:Automatic liver lesion segmentation using a deep convolutional neural network method