一种融合器官三维几何信息的分割模型 – 医学图像计算青年研讨会

MICS科研简讯第三期

本篇文章提出了一种融合器官三维几何信息的医学图像分割模型。该模型主要由两部分组成：用于器官分割的基础模型（3D FCN、3DUnet、Vnet、DenseVoxNet等），以及由Graph-ResNetBlock级联而成的shape-aware网络（用于提升基础网络的分割效果）。该模型的主要算法流程如图1所示。工作的创新点在于提出了一种有效的形状感知网络来学习器官的3D几何信息，并将该网络集成到主干网络中并完成多任务框架的共同训练，以提升模型的分割效果。

图1：模型主要算法流程

文章的主要工作介绍如下（基础模型以FCN为例）：

Shape-aware Network:形状感知网络用于预测分割器官的3D几何形状，使用coarse-to-fine策略将形状感知网络划分为多级block。构成网络的每一个block由图中的Graph-ResNet Block和Graph Unpooling组成。初始的Graph-ResNet Block中，网络的输入仅是初始网格的顶点C₀。而在第i个Graph-ResNet Block中，网络的输入是顶点C_i-1和来自前一个block的顶点特征向量F_i-1。

Graph-ResNet Block：这篇文章将FCN中不同层的下采样和上采样特征连接在一起以生成多级上下文特征图。Graph-ResNet Block中的特征池化层用于池化从FCN中得到的顶点C_i-1的多级上下文特征，并将其与前一个块中相同顶点的特征融合在一起，然后将特征向量和关联的顶点送入ResNet(Graph-Resnet)。Graph-ResNet由一系列带有残差连接的图卷积层组成，每一个图卷积层用于对不规则图形施加形变并更新特征。Graph-ResNet Block不会改变顶点的数量，只会更新其位置和相关的顶点特征向量。

Graph Unpooling：Grap-ResNet输出的顶点C_i和顶点的特征向量F_i被输入至GraphUnpooling层，用于增加顶点数量，该层将在每个边缘的中心添加一个顶点，并将其与该边缘的两个端点相连。

为了评价预测点C_Out和GroundTruth（GT）之间的一致性，一般使用的是Chamfer distance，但是作者在这篇文章中提出，医学图像数据的GT可能无法简单的从堆叠的2DMask图像中得到，倒角距离不能保证预测结果遵循几何形状的合理性。因此，这篇文章提出了使用多视角几何损失来约束3D网格几何形状的一致性，即将3D的预测点和GT点投影到2D平面，在较低的维度上比较2D多视角的一致性。通过控制投影图像的大小，可以分别生成高分辨率和低分辨率的2D投影图像。

和

分别表示预测和GT的低分辨率图像，每一个视图的形状连续性被表示为：

。高分辨率图像可保留更多的细节，可以使用预测投影图像

上的非0像素在GT投影图像

上搜索与其对应位置周围的非0像素来测量一致性：

。最后，通过高分辨率图像和低分辨率图像中的一致性约束来定义多视角几何损失：

，这个损失用于约束预测结果的3D网格几何形状与GT几何形状之间的一致性。

该文章在Medical Segmentation Decathlon (MSD)挑战赛肝脏数据集上进行测试。对于3D网格重建效果，使用Chamfer distance (CD) 和Earth Mover’s distance（EMD）进行评价，数值越小结果越好。对于分割效果，使用Dice进行评价。结果如下：

（1）重建效果

表1给出了加入多视角几何损失训练的模型与没有加入该损失的模型之间的效果对比。使用了shape-aware network但是没有加入多视角几何损失为表格中的“+ shape-aware w/o mv”，完整的模型为表格中的“+shape-aware”，可以看出加入多视角几何损失的有效性。

图2：一组肝脏分割结果的点云可视化

图2展示了文章中给出的一组肝脏分割3D点云示意图，从红色框中所在的区域可以看出，通过shape-aware网络并加入了多视角几何损失的预测结果，其几何形状更为准确。

（2）分割效果

表2给出了基础模型与加入shape-aware network模型的对比。“No shape-aware”表示没有加入shape-aware的基础分割模型，“+shape-aware w/o mv”表示加入了shape-aware网络，但是没有使用多视角几何损失的分割模型，“+shape-aware”表示加入了shape-aware网络，且使用了多视角几何损失的完整分割模型。可以看出，与基础模型相比，改进后模型的分割准确度有了显著提高，且鲁棒性更强。

图3：一组肝脏分割结果的示意图

图3展示了文章中给出的一组肝脏分割结果，从图中可以看出，受益于shape-aware network融入的3D几何信息，分割结果的边界形状得到了完善，多视角几何损失可使shape-aware network更加接近真实肝脏的3D几何形状，从而得到较优的分割结果。

参考文献

[1]Yao J, Cai J, Yang D, et al. Integrating 3D Geometry of Organ for Improving Medical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019: 318-326.

本文作者：杨小宇

指导老师：陈宇飞

单位：同济大学

医学图像计算青年研讨会（Medical Imaging Computing Seminar，MICS）创立于2014年，其宗旨是为医学图像领域的华人青年学者提供学术交流平台，增进相互之间的了解和友谊，帮助青年学者融入学术研究大家庭。MICS聚焦于近两年内的医学图像计算领域原创研究，欢迎医学图像处理、计算机视觉、人工智能等新理论、新方法、新应用的展示，以及影像与临床医学、基础医学深度交叉的突破性进展报告。首届MICS在医学图像领域著名学者、北卡罗来纳大学教堂山分校沈定刚教授的倡议下，于2014年12月在深圳大学举行。经过2015（济南）、2016（广州）、2017（上海）、2018（南京）、2019（苏州）的蓬勃发展，MICS从参会人数不足百人到吸引上千名专家学者参与，已迅速成为全国医学图像计算领域最具影响力的活动之一。2020年的MICS会议将于7月18~19日在大连举办，欢迎全球同道专家和同学共聚学术盛宴！

MICS科研简讯每两周定期发布前沿研究的介绍性文章，是医学影像计算学者交流科研进展的快报，欢迎广大同行来搞介绍自己的工作或领域内的进展。投稿方式：发邮件至micspapernews@163.com。