论文访问地址：https://ieeexplore.ieee.org/document/9354863

论文公开代码：https://github.com/SUST-reynole/DefED-Net

基于可变形U-Net的医学图像分割

论文引用信息：T. Lei, R. Wang, Y. Zhang, Y. Wan, C. Liu and A. K. Nandi, "DefED-Net: Deformable Encoder-Decoder Network for Liver and Liver Tumor Segmentation," in IEEE Transactions on Radiation and Plasma Medical Sciences, vol. 6, no. 1, pp. 68-78, Jan. 2022, doi: 10.1109/TRPMS.2021.3059780.

1. 概述 

在医学图像分割领域中，尽管深度卷积神经网络已经成为了主流的分割方法，然而将其应用于腹部CT图像中的肝脏和肝脏肿瘤分割时仍面临两个挑战。第一是在常规神经网络的特征编码阶段，标准方形卷积无法与不规则的器官形状相匹配，导致分割结果的轮廓误差较大；其次是池化下采样操作的连续使用会导致不可逆的病变细节信息丢失，导致小目标分割精度低。为了解决上述问题，提出了一种可变形U-Net(DefED-Net)，用于腹部CT中的肝脏和肝脏肿瘤分割。该网络主要有两个优点：一是在特征编码阶段采用了残差连接的可变形卷积块替代常规卷积，由于可变形卷积能实现自适应尺度和形状的感受野，因此能够获取更好的上下文信息，实现更强的特征表达；二是设计了一种全新的特征融合模块Ladder-ASPP，由于采用密集连接方式，因此该特征融合模块较主流的ASPP能够获取更好的多尺度特征表达。我们分别在LITS和3DIRCAD两个基准数据集上进行了实验，证明了提出网络的优越性。开源代码可以查看https://github.com/SUST-reynole/DefED-Net。

图 1. DefED-Net整体架构图

2. 方法：

（一）可变形编解码器

在特征编码阶段，我们采用了残差连接的可变形卷积。可变形卷积可以通过学习卷积核特征采样位置的偏移来学习不规则器官的形状信息。图2是特征编码器采取可变形卷积与标准卷积在肝脏自动分割中特征采样的比较，从图2中可以看出标准卷积核提取特征的范围无法与不规则形状的肝脏匹配，而可变形卷积则可以通过学习空间偏移量来确定在目标图像中的特征采样位置，可以较好的提取分割目标的特征，同时用残差设计来构造特征编码器能加速神经网络收敛。

图 2. 可变形卷积采样示意图

（二）特征融合模块Ladder-ASPP

在特征融合阶段，我们设计了全新的特征融合模块Ladder-ASPP，它主要分两路进行特征采样和融合，上一路采用全局平均池化和1×1卷积获取通道注意力权重，并对通道信息进行提取和加权；下一路采用密集连接的可变膨胀率的膨胀卷积在保证参数量不变的情况下获取多尺度的空间上下文信息。因此模块可以从通道空间两个部分来进行多尺度的特征融合，保证信息的丰富和有效。

图 3. Ladder-ASPP示意图

3. 实验

为了测试本文用于分割肝脏及肝脏肿瘤影像的准确性和优越性，通过以下实验进一步说明。实验采用LITS公开数据集中的90例影像数据进行网络模型的训练，10例数据作为验证集，30例数据作为测试集。表1列出了在肝脏测试集上的各项指标的平均值及标准差，表2列出了在肝脏肿瘤测试集上的各项指标的平均值及标准差。

表1 不同方法肝脏分割的定量结果

表2 不同方法肿瘤分割的定量结果

通过表1和表2展示的实验数据可以证明本文提出的DefED-Net能实现更高精度的肝脏以及肝脏肿瘤分割结果。除此之外，我们还进行不同网络模型大小的计算比较，结果如表3所示。本文提出的DefED-Net模型占用内存大小仅为标准U-Net的一半左右，却取得了高精度的肝脏和肝脏肿瘤分割的结果，因此在智能医疗领域具有广泛的应用前景。

表3 不同网络模型大小比较

4. 结论

本文提出将可变形卷积应用到肝脏及肝脏肿瘤分割的自动化分割网络中，增强网络的特征表示能力，并且能够对存在大幅形变的肝脏肿瘤进行灵活有效地建模，从而实现肝脏及肝脏肿瘤的高精度分割。除此之外，本文还设计了可以使用多个有效的感受野检测不同大小对象的Ladder-ASPP模块，以更好的进行肝脏和肝脏肿瘤分割。因此，本文提出的网络模型能有效解决肝脏以及肝脏肿瘤分割难题，具有广阔应用前景。

5. 参考文献

[1] O. Ronneberger, P. Fischer and T. Brox, "U-Net: Convolutional networks for biomedical image segmentation", Proc. Int. Conf. Med. Image Comput. Comput. Assist. Intervent. (MICCAI), pp. 234-241, 2015.

[2] Z. Zhou, M. M. R. Siddiquee, N. Tajbakhsh and J. Liang, "UNet++: Redesigning skip connections to exploit multiscale features in image segmentation", IEEE Trans. Med. Imag., vol. 39, no. 6, pp. 1856-1867, Jun. 2020.

[3] Z. Gu et al., "CE-Net: Context encoder network for 2D medical image segmentation", IEEE Trans. Med. Imag., vol. 38, no. 10, pp. 2281-2292, Oct. 2019.

[4] Ö. Çiçek, A. Abdulkadir, S. S. Lienkamp, T. Brox and O. Ronneberger, "3D U-Net: Learning dense volumetric segmentation from sparse annotation", Proc. Int. Conf. Med. Image Comput. Comput. Assist. Intervent. (MICCAI), pp. 424-432, 2016.

[5] F. Milletari, N. Navab and S.-A. Ahmadi, "V-Net: fully convolutional neural networks for volumetric medical image segmentation", Proc. Int. Conf. 3D Vis., pp. 565-671, 2016.

[6] X. Li, H. Chen, X. Qi, Q. Dou, C.-W. Fu and P.-A. Heng, "H-DenseUNet: Hybrid densely connected UNet for liver and tumor segmentation from CT volumes", IEEE Trans. Med. Imag., vol. 37, no. 12, pp. 2663-2674, Dec. 2018.

标签：分割,卷积,2022IEEE,特征,Net,肿瘤,肝脏,TRPMS
来源： https://www.cnblogs.com/sust-lab/p/16113761.html