MICS科研简讯第十一期
3D医学图像自动分割是计算机辅助诊断中最基本、也是最重要的技术之一。目前，deep convolutional neural network (DCNN)是医学图像分割这个领域的主流模型。根据卷积维度的不同，我们大致可以将其归类为2D DCNN和3D DCNN。2D DCNN相对来说计算量要小很多，参数也少很多，但是局限于二维平面上的卷积操作，它在3D医学图像分析的相应任务上无法捕捉到空间上下文信息。3D DCNN通过三维卷积操作，很好地解决了这个问题，然而其代价是更多的计算量、更多的参数量。
这篇文章考虑通过结合2D DCNN和3D DCNN各自的优势，在更少的参数、更少的计算量下，还能学习到有效的空间上下文关系，从而更好地解决3D医学图像分割问题。
本文提出了一个LW-HCN (light-weigt hybrid convolutional network)模型用来解决上述的问题。如图1所示，LW-HCN是由编码解码的结构构成，其中编码器采用了2D卷积（蓝色）和3D卷积（绿色）混合堆叠的结构模式，解码器则完全采用了3D卷积的结构。底层的2D卷积操作可以有效地降低整个模型的计算复杂度和参数量，高层的3D卷积能够捕捉到丰富的3D语义信息，从而实现准确的语义分割。同时，本文还使用了一种DSTS(depthwise spatiotemporal separtate)卷积操作来进一步降低3D卷积的参数量。
下面主要从该模型的2D卷积和3D卷积操作模块进行介绍：
1. 2D卷积模块：
在输入层，3D医学图像被拆分成n个2D切片输入到模型，通过一系列底层的2D的卷积进行切片的特征提取操作。2D的卷积可以大大降低模型的计算复杂度和参数量，同时还便于直接迁移ImageNet上预训练参数。在得到了n个2D切片的特征后，一个Transformation层将进行维度变换的操作，即将n个2D的特征进行拼接，得到一个3D的特征传入到后续的3D卷积模块中进行处理。
2. 3D卷积模块：
重组后的3D特征送入3D卷积模块进一步捕捉到空间上下文信息。为了进一步降低3D卷积的参数量，提出了DSTS分解策略。如图2所示，标准的3x3x3三维卷积分解为两个步骤：首先是分解出spatial和temporal两个分支，分别进行intra-slice和inter-slice维度上的特征学习。接着，在每个分支上，分别进行1x3x3和3x1x1的深度可分离卷积(depthwise separable convolution)，即针对每个channel独立地进行卷积操作。最后将两个分支上的特征进行拼接融合。这种分解策略可以将3D卷积的参数量降低至
（C代表通道数）。此外，这种DSTS分解策略还嵌入到ASPP模块中，在少量参数下，DST-ASPP模块能够有效地丰富特征的多尺度信息。
图1. LW-HCN模型整体框架
图 2. 3D卷积分解示意图
本文在LiTS 2017肝脏及肝脏肿瘤数据以及3D-IRCADb数据上进行了测试，对于分割结果，使用了Dice per case，Dice global以及Tumor burden RMSE进行评估。
1. 定量结果：
表1 对比了不同算法在LiTS测试集上的性能表现。LW-HCN相比于其他的2D模型、3D模型、2D和3D混合模型都有着性能上优势。LW-HCN在3D-IRCADb数据上也有不错的性能表现。
表1. 各种方法在LiTS测试集上的性能对比
表2. 各种方法在3D-IRCADb数据上的性能对比
2. 定性结果：
图3. LiTS验证集分割结果。(a) 原图; (b,f) 2D/3D GT; (c,g) 2D DeeplabV3+; (d,h) 3D I3D; (e,i) LW-HCN.
图4. 3D-IRCADb分割结果。第一行：分割ground truth; 第二行：LW-HCN分割结果
总结
针对2D网络无法捕获空间上下文信息、3D网络计算复杂度大、参数量多的弊端，提出了一种轻量级的混合卷积网络LW-HCN。该网络通过在编码器底层使用2D卷积、分解3D卷积极大地降低了整个模型的参数量和计算复杂度。不同于目前2D+3D cascade的算法，LW-HCN在一个网络中同时考虑2D和3D卷积，极大地降低了计算复杂度和模型的参数量。LW-HCN在大约3.6 million的参数下，能够取得更好的分割结果。
参考文献
[1]Zhang J, Xie Y, Zhang P, et al. Light-weight hybrid convolutional network for liver tumour segmentation. In Proceedings of the 28th International Joint Conference on Artificial Intelligence, Macao, China. 2019: 10-16.
医学图像计算青年研讨会（Medical Imaging Computing Seminar，MICS）创立于2014年，其宗旨是为医学图像领域的华人青年学者提供学术交流平台，增进相互之间的了解和友谊，帮助青年学者融入学术研究大家庭。MICS聚焦于近两年内的医学图像计算领域原创研究，欢迎医学图像处理、计算机视觉、人工智能等新理论、新方法、新应用的展示，以及影像与临床医学、基础医学深度交叉的突破性进展报告。首届MICS在医学图像领域著名学者、北卡罗来纳大学教堂山分校沈定刚教授的倡议下，于2014年12月在深圳大学举行。经过2015（济南）、2016（广州）、2017（上海）、2018（南京）、2019（苏州）的蓬勃发展，MICS从参会人数不足百人到吸引上千名专家学者参与，已迅速成为全国医学图像计算领域最具影响力的活动之一。2020年的MICS会议将于7月18~19日在大连举办，欢迎全球同道专家和同学共聚学术盛宴！
“医学图像计算青年研讨会”微信公众号
通过MICS微信公众号“医学图像计算青年研讨会”（扫描上方二维码）或MICS QQ群（群号：1067775650）关注我们。
