MICS科研简讯第八期
近年来，深度学习方法很大程度上促进了分割方法的发展。其中，完全卷积网络（FCN）作为卷积神经网络中常见的一种，一直广泛应用于计算机视觉和医学图像的语义分割中。FCN通过直接优化中间特征层，对神经网络进行端到端的训练，使其优于认为特征学习和分割是两个任务的传统方法。U-Net作为FCN的一种进化变体，通过有效结合高层次和低层次网络架构中的特征，在提高定位精度尤其是近器官边界定位上取得了优异的性能。尽管在大多数分割情况下U-Net都是有效的，但是仍然不能正确处理复杂样本区域，因为网络训练过程中倾向于学习容易分割的样本。这些容易分割的样本在医学图像分割任务中，由于图片中病变程度的不同或影像学因素的影响，常常占据很大的分割优势。因此，在难以分割或者检测的情况下获得更好分割性能的网络，成为模型优化的挑战。
对抗学习源于生成对抗网络，生成对抗框架由两个竞争网络组成：生成器和判别器。其中生成器旨在学习数据的分布，判别器估计数据从训练数据或生成器到达的概率。而置信学习，是由置信网络生成的特征图映射分割网络分割结果的可信和不可信区域，可以充分体现分割结果的优劣，为分割网络的训练提供指导。
今天为大家介绍两篇相关领域的论文，第一篇以对抗学习的概念为基础，利用置信网络判断分割网络分割的结果优劣。并且基于置信网络生成的特征图，提出了一种困难感知注意机制，以自适应地分配区域级和体素级的重要性来训练网络。由于可以采用困难感知注意机制进一步训练分割网络，易样本的优势问题也得以解决。此算法已经应用于多个医学图像分割任务之中，相较于其他先进方法有显著提高。原文已被AAAI 2019录用。第二篇是对第一篇工作的扩展，在前者的基础上将算法应用于肿瘤图像的合成，并且补充大量的对比实验作为验证。下面我们来详细介绍一下这两篇工作。
1. Difficulty-Aware Attention Network with Confidence Learning for Medical Image Segmentation
本文针对医学图像中困难样本的分割问题进行研究。所提出的模型中主要包含两个子网络：1）分割网络，2）置信网络。利用FCN置信学习避免对抗学习中的不平衡问题，缓解分割网络训练中的易样本优势问题。网络结构如图1所示。
图1 算法框架
1）分割网络
其中的分割网络（图1中的S部分）可以是其他端到端的分割网络，本文利用增强的U-Net作为分割网络。本文中采用的分割网络将所有的卷积层都替换成为残差模块，且编码器和解码器之间为空洞残差模块。跳连接之间加入转换模块，在解码器中加入三个尺度的深度监督学习，并且利用通道注意力模块更好融合由浅层和深层提取的拼接信息。分割网络的损失函数由两部分组成：第一部分是多类别的Dice分割损失函数，第二部分是多类别交叉熵损失函数。前者关注于整张图的分割，后者关注于体素级的局部分割。
2）置信网络
本文利用对抗学习提升网络的分割性能，并且将置信学习和对抗学习结合起来，避免对抗学习中判别器与生成器训练过程中的不平衡问题。传统对抗学习中的判别器提供整张图像的全局置信度，而没有提供局部区域的置信度。因此本文利用FCN对判别器进行建模并且命名为置信网络。置信网络的输出即为置信图，可以体现局部自动分割结果和标签之间的相似程度。置信网络可以学习结构信息，并且用于调整分割网络的输出。本文采用的置信网络为经典的U-Net网络，并以置信网络作为对抗学习中的判别器。因此在分割网络本身就是有监督训练的情况下，以分割网络作为对抗学习中的生成器，以置信网络作为对抗学习中判别器，通过将对抗学习中的最大-最小策略重新构造为对生成器具有软约束的判别器最大化问题。置信网络的训练损失函数包含两部分的二值损失：第一部分是分割标签通过置信网络之后的输出和1之间计算的二值损失，第二部分是分割网络结果通过置信网络之后的输出和0之间计算的二值损失。
3）分割网络的对抗损失
分割网络的对抗损失是以分割结果为输入的置信网络输出和1之间的二值损失，这项损失函数可以作为分割网络软约束的正则化项，以增强自动分割结果和分割标签之间的高阶一致性。
4）困难注意力机制
医学图像中的类别分布不均，会引起深度学习过程中网络对困难区域分割不准确的问题。此前针对此类问题的典型解决方法为focal loss，但是focal loss只提供体素级别的注意力。因此，基于分割网络部分介绍的混合损失函数，本文设计了一种新的困难注意力机制以更好关注分割图像中的难易信息。此困难注意力机制利用Dice相似系数的均值构造分割损失函数中的类别权重，同时利用置信图构造交叉熵损失函数的类别权重，因此，这种注意力机制能够更多关注到医学图像中难于分割的区域。
实验部分选用了三个骨盆数据集，包含一个自建的50张骨盆MRI图像和两个公开比赛数据集。通过DSC和ASD来评估分割准确度，下表1显示了本文方法比其他对比方法在自建数据集上有更好的分割效果。表2列举了本文中所用比赛公开数据集上表现最佳的十种方法结果，本文方法排在第四位。
表1 对比实验评估表
表2 公开数据集对比实验评估表
2. Adversarial Confidence Learning for Medical Image Segmentation and Synthesis
本文是对上一篇论文的扩展，将模型的作用从分割扩展到图像合成，发表在ijcv期刊上。分割部分的方法和上文一致，因此下面着重介绍本文中关于图像合成的部分。本文介绍的图像合成方法模型结构和图1类似，但是图像合成的方法是基于图像重建中常见的Lp损失，利用置信图构建合成损失的权重，并且结合分割任务中提到的对抗损失，作为生成器的损失函数。实验数据包含354对T1和T2大脑MRI，图2为合成MRI对比结果，如图可见本文的方法（图中第四列）合成效果更加接近实际的图像效果（图中第五列）。
图2 合成实验结果对比图
和分割实验类似，将困难注意力机制应用到图像合成中，对比实验结果如图3所示，应用了困难注意力机制（第三列）的图像合成结果相较于没有困难注意力机制（第二列）的合成结果恢复了很多细节，也与实际T2图像（第四列）更接近。
图3 困难注意力机制图像合成结果对比图
值得一提的是，本文在图像合成的对比实验中分别利用真实的脑部肿瘤T2 MRI和合成的T2 MRI进行分割，如图4所示为分割视觉对比结果，合成图像的分割结果更接近分割标签。如表3所示为对应的分割量化结果，分别表示增强肿瘤（ET）、肿瘤核（TC）、和完整肿瘤（WT）的Dice相似系数。参考分割结果可见，合成的T2图像的分割结果和实际T2图像的分割结果相近，说明合成图像质量很高。
图4 合成图像和实际图像分割结果对比图
表3 分割对比实验结果表
另外，本文也对比不同方法的合成效果，图5所示为视觉对比效果，红色箭头所指为合成质量不好的地方，表4则直接通过数据体现了不同方法的合成效果，由表可见，本文方法合成的效果是最好的。
图5 不同方法的合成结果对比图
表4 不同方法图像合成对比实验结果表
由于笔者水平有限，仅对文中讲解的文献进行了概括性的介绍，如果对此方法感兴趣的话欢迎详细阅读原文献，若文中有不当之处还请您及时指正。
参考文献：
[1] Nie, Dong, Li Wang, Lei Xiang, Sihang Zhou, Ehsan Adeli, and Dinggang Shen. “Difficulty-aware attention network with confidence learning for medical image segmentation.” In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, pp. 1085-1092. 2019.
[2] Nie, Dong, and Dinggang Shen. “Adversarial Confidence Learning for Medical Image Segmentation and Synthesis.” International Journal of Computer Vision (2020): 1-20. 2020.
本文作者：朱中杭
指导老师：王连生
单 位：厦门大学
医学图像计算青年研讨会（Medical Imaging Computing Seminar，MICS）创立于2014年，其宗旨是为医学图像领域的华人青年学者提供学术交流平台，增进相互之间的了解和友谊，帮助青年学者融入学术研究大家庭。MICS聚焦于近两年内的医学图像计算领域原创研究，欢迎医学图像处理、计算机视觉、人工智能等新理论、新方法、新应用的展示，以及影像与临床医学、基础医学深度交叉的突破性进展报告。首届MICS在医学图像领域著名学者、北卡罗来纳大学教堂山分校沈定刚教授的倡议下，于2014年12月在深圳大学举行。经过2015（济南）、2016（广州）、2017（上海）、2018（南京）、2019（苏州）的蓬勃发展，MICS从参会人数不足百人到吸引上千名专家学者参与，已迅速成为全国医学图像计算领域最具影响力的活动之一。2020年的MICS会议将于7月18~19日在大连举办，欢迎全球同道专家和同学共聚学术盛宴！
“医学图像计算青年研讨会”微信公众号
通过MICS微信公众号“医学图像计算青年研讨会”（扫描上方二维码）或MICS QQ群（群号：926316770）关注我们。
