基于多模态特征融合的核磁共振图像生成方法的介绍

MICS科研简讯第十期

多模态磁共振成像（MRI）是被广泛应用于神经影像的成像技术。融合多模态MRI数据对提高模型性能有着非常重要的作用。但是出于扫描成本和安全性的考虑，直接获取多模态MR图像存在较大的困难。针对上述问题，本次介绍的这篇文章提出了一种高效的混合-融合多模态MR图像生成网络模型。该模型通过融合已有模态的图像来生成目标模态（或缺失模态）的图像，特别地，该模型通过学习模态特定的网络来获取模态的特定的信息，以便于进行不同模态图像信息的融合来帮助生成缺失模态的图像。

整个网络包含三个主要部分：模态特定的网络；多模态融合网络；多模态图像生成网络。模态特定的网络用于学习特定模态图像的特征信息，同时，多模态融合网络用于学习不同模态之间的相关性。多模态图像生成网络则用于目标模态图像的生成。该模型的整体框架如图1所示。该工作的创新点在于利用了多个模态图像的特征信息来生成目标模态的图像，并且利用自动编码器来学习特定模态的特征信息，同时使用分层的多模态融合策略来有效地集成多模态多层次特征表达，从而有效地挖掘不同模态间的相关信息。作者还提出了一种新颖的混合融合模块MFB(Mixed Fusion Block)，自适应地对不同融合策略进行加权，有效地提高了融合性能。

图1：网络整体框架

本文的主要工作介绍如下:

(1) 模态特定的网络

文章中采用一种类似于自动编码器的结构，利用所学习的高层表示来重建原始图像。图像重构的损失函数:

使用L1范数来衡量原始图像和重建图像之间的差异性。值得注意的是，重构损失提供了侧输出监督，以保证针对特定模态的网络对每个模态学习一个有区别的表示。

(2)多模态融合网络

使用分层融合网络，从而有效地利用来自不同网络层(如浅层和高层)的多层次表示之间的相关性，并减少不同模态之间的差异性。同时，利用MFB模块自适应地对不同融合策略进行加权。

图2给出了MFB模块的示意图，作者采用了元素级求和、元素级乘积和元素级最大化三种融合策略相结合的方式。然后，加入卷积层自适应地对三个融合进行加权。

图2：MFB(Mixed Fusion Block)模块示意图

其中对应的三种融合策略如下，即将不同模态的特征图进行对应元素的相加、相乘和取最大值，然后将经过上述操作的特征图拼接在一起送入后续的卷积层当中。

(3) 多模态图像生成网络

利用多模态融合网络学到的不同模态的潜在表达，应用生成对抗网络模型来生成目标模态的图像。生成器损失函数：

其中λ₁是一个非负平衡参数。在第一项中生成器G’尝试生成误导判别器D的真实图像，第二项中使用L1范数来度量生成的图像与对应的真实图像之间的差异。上述公式可以等价转化为如下公式：

判别器损失函数即为生成对抗网络中常见的对抗损失函数。

最终，完整的损失函数即为生成器损失函数、判别器损失函数和图像重构损失函数三者相加，其中图像重构损失前会乘上一个平衡参数λ₂。

该文章在BraTs 2018脑部肿瘤MRI数据集上进行测试，它采集自285个病例，每个病例包含: T1,T1c,T2和Flair四种模态的MR图像。该文章采用了T1, T2和Flair三种模态数据来验证所提出模型的有效性。对于生成效果，本文使用PSNR(Peak Signal-to-Noise Ratio)、NMSE(Normalized Mean Squared Error)和SSIM(Structural Similarity Index Measurement)进行定量评估。结果如下：

(1) 定量结果

文章分别对比了Pix2pix、cycleGAN和MM-Syns三种模型，其中Pix2pix、cycleGAN为仅使用单模态图像的生成模型，MM-Syns为使用多模态图像的生成模型。文章分别进行了1）T1, T2生成Flair（Table I），2）T1, Flair生成T2（Table II），3）T2，Flair生成T1（Table III）三组实验。其中PSNR指标越高越好，NMSE和SSIM指标越低越好。从上述三张表可以看出，不管是生成任何模态的图像，该文章所提出的模型都能取得最好的结果。

另外该文章还在ISLES 2015数据集上进行了实验，实验结果如Table IV所示。

作者还设计了消融实验来验证模型中各个模块的重要性。Table V展示了使用T1和T2模态合成Flair模态图像的消融实验结果。与“Ours-degraded1”相比，使用MFB模块能够有效地提高性能。“Ours-degraded2”和“Ours-degraded3”的结果表明仅在融合网络中使用MFB模块的性能优于仅在生成器网络中使用MFB模块时的性能。通过与“Ours-earlyFusion”和“Ours-lateFusion”的比较，表明混合融合网络比两者都有更好的融合效果。

(2) 定性结果

图3、4、5分别展示了T1, T2生成Flair、T1, Flair生成T2和T2，Flair生成T1的可视化效果，明显看出，该文章提出的模型得到的图像生成效果与真实的目标更为相似，并且在一些细节上面有更好的生成效果。

图3: T1, T2生成Flair

图4: T1, Flair生成T2

图5: T2，Flair生成T1

参考文献

[1] Zhou T., Fu H., Chen G., Shen J., & Shao L. “Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis.” IEEE Transactions on Medical Imaging. PP. 1-1. 10.1109/TMI.2020.2975344.

本文作者：周子奇

指导老师：史颖欢

单位：南京大学

医学图像计算青年研讨会（Medical Imaging Computing Seminar，MICS）创立于2014年，其宗旨是为医学图像领域的华人青年学者提供学术交流平台，增进相互之间的了解和友谊，帮助青年学者融入学术研究大家庭。MICS聚焦于近两年内的医学图像计算领域原创研究，欢迎医学图像处理、计算机视觉、人工智能等新理论、新方法、新应用的展示，以及影像与临床医学、基础医学深度交叉的突破性进展报告。首届MICS在医学图像领域著名学者、北卡罗来纳大学教堂山分校沈定刚教授的倡议下，于2014年12月在深圳大学举行。经过2015（济南）、2016（广州）、2017（上海）、2018（南京）、2019（苏州）的蓬勃发展，MICS从参会人数不足百人到吸引上千名专家学者参与，已迅速成为全国医学图像计算领域最具影响力的活动之一。2020年的MICS会议将于7月18~19日在大连举办，欢迎全球同道专家和同学共聚学术盛宴！