北卡罗来纳大学教堂山分校（UNC-Chapel Hill）IDEA实验室（https://www.med.unc.edu/bric/ideagroup/core-labs/idea-research-lab/）在医疗AI的顶级会议MICCAI-2019上录取了27篇论文。这些论文的研究主题可归纳为：图像合成，婴幼儿脑发育，老年痴呆症、抑郁症及癫痫，牙齿正畸，基因与病理，人脑微结构组织等。下面对这些研究主题和27篇论文作一一介绍，希望对大家的研究有所启发。(注：该微信篇幅偏长，可选择阅读；该微信的PDF也可从这里下载：http://iseg2019.web.unc.edu/files/2019/08/UNC-IDEA-LAB-MICCAI-2019.pdf)
图像合成
1. Fang et al., “RCA-U-Net: Residual Channel Attention U-Net for Fast Tissue Quantification in Magnetic Resonance Fingerprinting”.
为了加快MR Fingerprinting（定量MRI成像）的数据采集速度，Fang等人[1]提出了基于深度学习的图像生成模型，用更少的采样数据精确地预测T1/T2 MRI图像。该文提出了新颖的Residual Channel Attention U-Net (RCA-U-Net) 模型，该模型在U-Net 的结构中加入了新的Residual Channel Attention Block，使生成的图像（图1）有更高的精度和更好的细节。采用Leave-one-out交叉验证，RCA-U-Net 模型的T1 map预测误差低至2%～4%，T2 map的预测误差低至7%～8%，远优于传统的Dictionary Matching和U-Net方法。
图1：不同方法的T2 map预测结果。DM: Dictionary Matching. TCNN: Temporal CNN. SCQ: 传统U-Net. Proposed: Residual Channel Attention U-Net (RCA-U-Net). 图像右下角的数字为平均误差。
2. Qu et al.,“Wavelet-Based Semi-Supervised Adversarial Learning for Synthesizing Realistic 7T from 3T MRI”.
相比于3T MRI扫描仪，7T MRI扫描仪能提供更高的空间分辨率和更多的解剖细节。然而7T MRI扫描仪造价高昂，不易获得。Qu等人[2]提出一种新颖的基于小波变换的半监督对抗学习方法从3T MR 图像合成7T MR图像。与现有基于监督学习的7T MR图像生成方法需要提供大量的3T-7T配对数据不同，该文的半监督对抗模型能够利用大量非成对的3T和7T MR图像来提升7T MR图像合成算法的性能。该模型利用联合空间域-小波域的循环一致对抗网络来实现半监督学习，并将空间域内的7T MR图像合成任务转换为联合空间域-小波域内的小波系数预测任务，以促进高频细节信息的合成。采用Leave-one-out交叉验证，该算法在仅使用28.5%的配对数据和71.5% 的非配对数据的情况下, 平均Structural similarity值达到0.874，优于现有最佳的全监督7T图像生成算法。
3. Hong et al.,“Reconstructing High-Quality Diffusion MRI Data from Orthogonal Slice-Undersampled Data Using Graph Convolutional Neural Networks”.
弥散磁共振成像（Diffusion MRI）技术在脑组织微结构的研究中有着重要的应用价值，但是过长的成像时间制约着它的广泛应用。为了解决该问题，Hong等人[3]提出了一种基于正交欠采样弥散加权图像的超分辨率重构方法。该方法仅需一部分等距欠采样的弥散加权图像，从而有效地减少了成像时间。该项研究工作证实了欠采样弥散加权图像间的互补信息可被用于基于图卷积神经网络的超分辨率重构（框架如图2所示）。该文采用了4折交叉验证，所提出的超分辨率重构方法优于传统的插值方法，并且有效地缓解了部分容积效应。实验结果显示所提出方法可以取得高达5倍效率的成像加速。
图2：所提出网络的框架图。
首先，三种不同类型的欠采样弥散磁共振图像被输入到三个初级子网络中进行初步的超分辨率重构。随后，子网络的输出被融合并输入到下一级的优化网络中。最后，优化网络输出高分辨率弥散磁共振图像。
4. Liu et al.,“Multi-Stage Image Quality Assessment of Diffusion MRI via Semi-Supervised Nonlocal Residual Networks”.
自动且快速的弥散磁共振（Diffusion MRI）图像质量评估对于在扫描过程中或扫描后快速做出重扫描决策至关重要，但标注的数据数量极其有限且标签并不都完美。Liu等人[4]提出了一种包括切片级、体级及对象级的三阶顺次质量评估模型，该模型采用一种非局部残差网络实现切片级质量评估，采用一种非局部网络聚合单体中所有切片的特征实现体级质量评估，集合单对象中所有体的质量结果实现对象级质量评估。为了充分利用少量的标注数据和大量的未标注数据，采用半监督学习训练非局部残差网络和非局部网络。为了解决数据标签噪声，设计了一种自训练策略，在训练网络时迭代地重新标记和删除标记的数据集（框架如图3所示）。该文提出的方法仅使用较小的样本进行训练，具有很强的泛化能力，能够以近乎完美的精度进行大规模的快速质量评估。
图3：切片和体素质量评估网络架构图。
5. Pan et al.,“Disease-Image Specific Generative Adversarial Network for Brain Disease Diagnosis with Incomplete Multi-Modal Neuroimages”.
图像合成技术有望解决在基于多模态数据的疾病诊断中存在的数据缺失问题，但现有的图像合成模型生成的图像和真实图像往往在分类任务中有较大的性能差异。Pan等人[5]将缺失图像生成和疾病诊断两个问题联合起来并构建一个统一的深度学习框架。该文首先基于单模态的数据训练一个包含5层卷积层的诊断模型，该模型每层的特征都能不同程度反映出疾病信息。然后，通过约束生成模型使其生成的图像和真实图像在诊断模型上的特征保持一致（框架如图4所示）。该文在ADNI上的1466例样本上进行了测试，实验结果表明该方法不仅能生成更加合理的大脑影像，同时显著提升了阿兹海默症的自动预测。
图4：提出的图像生成和疾病诊断的统一模型，包括 (1) 用于疾病诊断的神经网络(DSNN)和 (2) 具有特征一致性约束的生成对抗网络(FGAN)。RNB: 残差网络模块。
6. Huang et al.,“CoCa-GAN: Common-feature-learning-based Context-aware Generative Adversarial Network for Glioma Grading”.
多模态脑肿瘤MRI影像可更好地协助诊断和治疗，但通常会存在模态缺失问题。为解决通过T1w MRI生成其他模态MRI的图像合成问题，Huang等人[6]提出了新颖的基于共特征空间学习 (Common feature learning) 和上下文信息 (Context-aware) 的三维生成式对抗网络模型 (CoCa-GAN) 。该模型采用一个编码器产生共特征空间，多个解码器产生多种模态的目标图像。该文利用对抗学习来辅助学习共特征空间，借助基于边缘信息和肿瘤区域上下文信息的约束帮助损失函数收敛，并增强共特征空间对图像细节尤其是肿瘤区域的表征能力。该模型输入T1w MRI，通过迭代式训练使共特征空间学习到多模态图像间的互补信息，以增强仅使用单一T1w MRI时的图像合成能力（图5）。采用BraTS2015数据集进行实验，结果显著优于其他方法（图6）。该方法可在有限信息的情况下，通过产生更多模态的图像协助医生对脑肿瘤病人综合诊断和评估，并更加有效的进行治疗方法规划。
图5：CoCa-GAN方法结构图，输入图像XS为T1w MRI，输出其他三个模态。
图6：采用CoCa-GAN的三种变式得到的图像生成结果。第一行：Ground Truth；第二行：不采用边缘和肿瘤区域上下文信息；第三行：仅采用边缘信息；第四行：采用边缘与肿瘤区域上下文信息，可以得到更加真实准确的多模态脑胶质瘤MRI图像。
7. Wei et al.,“Synthesis and Inpainting-based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors”.
肝脏肿瘤的热消融手术目的在于尽可能消融肿瘤组织的同时保证周围正常组织不被破坏。手术中消融针的穿刺在图像引导下进行，精确的穿刺手术需要将术前和术中的图像进行配准。术前和术中采用的影像模态不同、肝脏等组织在两个时间点发生的较大形变等原因，都增加了术前和术中影像配准的挑战性。术前MR（pMR）影像对于肿瘤等软组织具有较高分辨率，但成像时间相对较长；术中 CT（iCT）影像成像时间相对较快，可以实时反馈穿刺位置，但是对肿瘤等软组织分辨率较差，同时金属穿刺针会产生严重的伪影，很可能完全遮挡了肿瘤本身。Wei等人[7]提出基于图像合成和修复的MR-CT图像配准的方法（图7）。在术前环节，通过基于Cycle-GAN的方法把MR-CT（pMR-pCT）跨模态的配准问题转变为 Synthesized CT (sCT)-CT（sCT-pCT）的同模态配准问题。在术中环节，基于图像修复有效去除术前CT（pCT）中金属穿刺针及其伪影得到修复后的CT（inpCT）（耗时仅～2s），基于深度学习的配准网络（UR-Net）可以在3s左右完成（inpCT-pCT）图像配准。该文提出的方法可以快速准确地完成术前MR和术中CT图像的配准（图8）。
图7：提出的图像配准方法由三个基于深度学习的算法和传统的配准算法ANTs组成。
图8：由ANTs和所提出的方法得到的配准结果。蓝色标记的是ANTs配准得到的肿瘤区域，黄色的是我们提出的方法得到的。
婴幼儿脑发育
8. Wu et al.,“Intrinsic Patch-based Cortical Anatomical Parcellation using Graph Convolutional Neural Network on Surface Manifold”.
现有的大脑皮层感兴趣区域划分方法需要首先将大脑皮层（通常由三角形网格表示）通过保角和保距映射至球面，进而在球面上进行区域划分（因为球面具有简单且易于配准的优点）。该映射要求大脑皮层曲面拓扑等价于球面，然而实际情况中，一方面该映射费时且难免产生畸变；另一方面，该映射无法应用于具有非球面拓扑的非正常皮层曲面，例如做过肿瘤切除手术的大脑皮层；因而限制了现有皮层区域划分方法的适用范围。Wu等人[8]提出一种在原始皮层曲面进行大脑皮层区域划分的方法，借助于图卷积网络直接在皮层曲面上训练分类器来进行皮层区域划分，避免了球面映射，解决了对非球面拓扑的大脑皮层区域划分问题。实验中，该文将正常婴儿大脑模拟切除一部分使其不再具有球面拓扑，进而利用所提方法进行皮层区域划分。通过比较未切除大脑的划分区域与切除以后的划分区域，两者在未切除区域具有高度重合性，从而验证该文所提方法有效适用与非球面拓扑的大脑皮层（图9）。
图9：(a) 人工皮层区域划分；(b) 利用文中方法的自动区域划分（没用应用图割优化）；(c) 利用文中方法的自动区域划分（应用图割优化）；(d) 利用文中方法在模拟非球面拓扑大脑上的自动区域划分（没用应用图割优化）；(e) 利用文中方法在模拟非球面拓扑大脑上的自动区域划分（应用图割优化）。
9. Taylor et al.,“Automated Parcellation of the Cortex Using Structural Connectome Harmonics”.
经典的大脑皮层脑区划分通常利用解剖学标记（沟回信息）或者功能连接信息（基于功能磁共振图像，以不同皮层区域的时间活动相关度来进行脑区划分）。历史文献中，以弥散张量图像作为出发点来进行脑区划分的研究较少。事实上，由弥散张量图像所构建出的大脑白质纤维束提供了比功能连接更为直接和可靠的全脑的结构连接信息，从而使得利用全脑结构连接进行大脑皮层的脑区划分成为可能。Taylor等人[9]由弥散张量图像所重建的大脑纤维束来构建大尺度（最小单位vertex，共64,984个vertices）脑皮层结构连接矩阵，进而利用拉普拉斯变换来探寻全脑解剖连接的多尺度结构性信息，找出皮层的不同空间位置上的相似解剖连接情况，从而对大脑皮层进行精细划分。对于不同被试大脑难以避免的差异性，采用多层网络分析的方法探寻多被试之间相似的结构连接，以此进行更加鲁棒和更具普适性的大脑皮层划分（图10）。在HCP公开数据集上的测试结果表明，该脑区划分结果与经典的根据功能磁共振图像的脑区划分具有高度的相似性。
图10：(a) -（d） 单个被试在不同解析度下的脑区划分；（e）-（h）群体被试在不同解析度下的脑区划分；其中，（a）和（e）为将皮层划分为80个区域的结果；（b）和（f）为将皮层划分为150个区域的结果；（c）和（g）为将皮层划分为250个区域的结果；（d）和（h）为将皮层划分为500个区域的结果。
10. Ahmad et al.,“Surface-Volume Consistent Construction of Longitudinal Atlases for the Early Developing Brains”.
婴儿大脑图谱对于研究婴儿大脑发育具有重要意义。传统方法通常分别构建大脑体数据与大脑皮层数据两种图谱。然而，由于两者在配准结果上的不同，往往导致从不同角度构建的大脑图谱具有差异性。Ahmad等人[10]同时从大脑体数据和皮层数据出发，以大脑皮层数据的配准来引导大脑体数据的配准，进而得到了大脑体数据和皮层数据一致的配准结果。在此基础上，该文首先构建了12个月婴儿的大脑体数据和皮层数据的图谱，其具有体数据和皮层数据一致的优点。而后，该文进一步将构建的12个月的图谱依此迁移到12个月之前的数据上，进而构建出逐月间隔的从婴儿出生直到12个月的图谱集合（图11）。相比于传统方法构建的图谱，该文所构建的婴儿图谱在时间轴上具有更好的相关性；同时，该文所构建的体数据图谱与大脑皮层数据图谱具有更好的一致性。
图11：该文方法所建婴儿大脑图谱（下图）与传统方法所建婴儿大脑图谱（上图）的对比。
11. Wang et al.,“Revealing Developmental Regionalization of Infant Cerebral Cortex Based on Multiple Cortical Properties”.
婴儿大脑在出生到两岁之间的快速发育表现出空间上的异质性，而据此勾画出的大脑区域划分与脑皮层的微观结构与功能密切相关。考虑到不同的皮层属性能够提供互补的信息，通过多个视角（多个皮层属性）勾画出的大脑区域划分则能更加完整地刻画此种空间上的异质性。因此Wang等人[11]提出了一种多视角非负矩阵分解方法，有效地综合考虑多个脑皮层属性来综合绘制婴儿大脑区域划分。该方法同时引入了正交约束与图约束，使得得到的不同脑区分互相独立，并且每个脑区空间分布较为集中，从而方便后续的以脑区为单位的分析（图12）。该文所发现的某些脑区与先前的基于基因或青少年发育的大脑脑区划分较为一致，证明了该文通过多视角非负矩阵分解绘制出的婴儿大脑脑区划分在神经科学上的意义。
图12：由大脑皮层厚度与面积发育模式共同勾画出的婴儿脑区划分。该划分由25个脑区构成，每个脑区对应的名称在虚线文本框内。
12. Zhao et al.,“Harmonization of Infant Cortical Thickness using Surface-to-Surface Cycle-Consistent Adversarial Networks”.
在神经影像分析中，为了解决不同磁共振扫描仪对大脑成像的非生物因素影响（比如磁场强度、分辨率、品牌等），对不同扫描仪所获取磁共振图像计算出的大脑皮层属性进行harmonization 十分有必要。Zhao等人[12]首次将Cycle-GAN的思想应用于大脑皮层属性的harmonization问题上。该文首先将大脑皮层投影到球面，用icosahedron离散化的球面来表示皮层和其属性数据 (比如皮层厚度)。然后利用球面U-Net作为生成器，将一个MRI扫描仪得到的皮层数据迁移到另一个MRI扫描仪的皮层空间中，再利用判别器促使生成器生成的皮层厚度属性图尽量逼近另一个MRI扫描仪得到的皮层属性图（图13）。反过来同理。通过同时训练生成器与判别器，神经网络就可以学到一个MRI扫描仪到另一个扫描仪的皮层属性迁移。该方法在模拟和真实数据的harmonization上都取得了很好的效果，在个体差异和群体差异的保留上都优于目前常用的ComBat方法。
图13：用于不同MRI扫描仪得到的大脑皮层表面属性图转换的框架图。(a) 两个生成器分别被用来学习一个MRI扫描仪到另一个MRI扫描仪的迁移过程；两个判别器被分别用来鉴别真实的大脑皮层表面属性图和生成的大脑皮层属性图；(b) 生成器详细框架图，每一个卷积框包含两个球面卷积层和一个Batch Normalization和ReLU层， 下采样框还包含一个额外的球面池化层，上采样框包含一个额外的球面转置卷积层；(c) 判别器的详细框架图，每个卷积框由球面卷积层加上Batch Normalization和ReLU组成。
13. Jiang et al.,“Early Development of Infant Brain Complex Network”.
在出生后到两岁这一阶段，婴儿大脑的结构和功能迅速发育。其中，对婴儿大脑全脑功能网络的拓扑结构的早期发育研究能够帮助研究者更好地认识复杂认知功能的出现和发展。然而，由于优质大样本纵向婴儿功能磁共振（fMRI）数据的缺乏，截至目前，人们对婴儿大脑功能网络的拓扑属性的早期发育轨迹仍然知之甚少。此外，对于大脑网络的发育和认知功能的发育这两者之间的关系的研究仍然是空白。Jiang等人[13]第一次利用高质量的婴儿纵向自然睡眠状态fMRI大数据，通过混合效应模型，精确刻画了婴儿脑网络的生物指标（全脑特征和各个脑区特征）在0-2岁之间的发育轨迹（图14），并首次研究了脑网络早期发育与重要认知能力（接受性视觉能力以及接受性语言能力）的密切关系。研究表明，不同于之前的基于非纵向小样本数据的研究结果，网络的局部效率呈现出先增加后降低（在一岁左右达到峰值）的二次曲线式的发育轨迹，表明了早期脑发育中髓鞘化和修剪作用共同影响下的网络的分离与整合的复杂关系。相比全脑发育趋势，脑区的发育则呈现出明显的空间特异性，部分脑区甚至显示与全脑发育轨迹完全不同的发育趋势。研究同时发现了与早期视觉和语言能力相关的脑网络发育趋势，对于深刻理解脑网络发育和行为发育的正常与异常轨线提供了第一手资料。
图14：婴儿大脑复杂网络的早期发育：A. 全局网络指标的发育；B. 脑区级网络指标的发育。
14. Zhou et al.,“Multi-layer temporal network analysis reveals increasing temporal reachability and spreadability in the first two years of life”.
人类大脑功能连接组的时空分析及其在生命最初几年的早期发展对于生命科学研究至关重要，因为其可能作为重要神经基础解释在该关键阶段的各种高级认知能力的产生和快速发展。Zhou等人[14]提出了一种基于多层、动态网络的时间网络分析并对婴儿0-2岁这一重要发育阶段的每个脑区量化了其时间可到达性（reachability）和可传播性（spreadability），从而直观地解释了大脑在出生后的早期发育过程中脑网络的连接改变是如何增强信息在空间和时间的交换效率的。该新方法通过计算动态功能连接并通过增加层间连接的方式将所有动态功能连接网络按时间顺序前后相连，并通过时序性连接衡量某个大脑区域在短时间内与其他区域相联系的程度（图15）。该研究将此方法和这两个时间网络分析指标应用到来自165个不同的婴儿不同年龄阶段的932例高时间空间分辨率的静息态功能磁共振数据上。实验发现大部分显示出随年龄增长的可到达性的脑区位于初级和高级视觉区域（图16A），而可到达性降低的区域主要集中在双侧额叶眶回和左侧额叶岛盖部 (图16B)。根据可到达性发育速度对所有脑区排序，研究发现了一个从下、后、内侧到上、前、外侧大脑的这样一个梯度（图16C）。采用时间网络分析，研究发现在45秒内右侧梭状回（具有最大可到达性增加速率）可以通过跨时间层连接到大部分脑区 (图16D、E)，这表明了视觉功能连接的强化和效率的提升在0-2岁期间的大脑功能发育中起到了至关重要的作用。该方法可以应用在各个脑研究领域，是一种重要的、直观的、具有高度可解释性的动态脑网络研究手段。
图15：一个具有4个节点3个时间点的多层时序网络的简单示例。
图16：多层时序网络揭示出生后前两年大脑区域增长的可接触性和可传播性。
15. Kam et al.,“A Deep Learning Framework for Noise Component Detection from Resting-state Functional MRI”.
功能磁共振（fMRI）包含大量噪声和伪迹，严重影响计算结果的准确性、稳定性和可重复性。独立成分分析（ICA）可在无需任何模型或假设的前提下提取出fMRI数据中的结构性噪声，但该噪声提取手段因缺少客观的评判标准，通常需要经验丰富的研究者消耗大量的人力和时间逐一识别，在处理海量数据时非常困难。近期，有研究者提出机器学习方法自动识别噪声成分，但每个分类器的结果需要输入到另外的集成分类器中以实现最佳识别性能。这使得整个过程不仅耗时，而且无法很好的迁移到其他较为异质（从而噪声模式也不同）的数据集。Kam等人[15]提出了通过深度学习来自动提取静息态fMRI数据ICA分解所得的各个成分的时/空特征从而精确检测噪音的端到端的框架。该方法使用ICA将fMRI数据分解成一系列独立的三维的空间图像及其对应的一维时间序列，然后分别构建一个三维和一维卷积神经网络分别提取时间或空间特征进行噪声识别。此外，为同时考虑时间和空间信息，已分别训练好的三维和一维卷积神经网络最后的全连接层被组合到一起并通过一个额外的全连接层和输出层相接进行第三次识别。这样可得到三个深度学习“决策者”，分别单独对空间图像、时间序列、以及综合时/空信息进行决策，并最终通过多数表决的方法做出最佳决策。这一方法有效地模拟了有经验的研究者在没有操作性噪声定义的情况下进行决策的过程，在高分辨率的婴儿大脑fMRI数据上得到97.12% 的准确率，超过了多个人类专家共同识别的精度。此外，该方法无需其他软件参与便可独立进行，而且可利用GPU大大缩减计算时间。该方法已被婴儿脑连接组计划 （Baby Connectome Project）采用并被纳入其fMRI分析流水线。
图17：(A) 和 (B) 分别是三维卷积网络和一维卷积网络。(C) 组合的卷积神经网络的框架图。
16. Hu et al.,“Deep Granular Feature-Label Distribution Learning for Neuroimaging-based Infant Age Prediction”.
基于MRI的婴儿年龄预测对脑发育分析具有重要意义，却面临数据不足，精度不高的困境。Hu等人[16]引入标签分布学习这一针对小样本问题的新型机器学习范式，以解决其在婴儿年龄预测中标签数量庞大及标签对应样本稀少的关键问题为目标，建立了深度粒化特征-标签分布学习模型 (DGFLDL)。该文首先提出了粒化标签分布 (GLD)：通过将相邻标签聚集成信息粒，由一族定义在信息粒上的分布来对每个MRI进行标注，GLD在粒的尺度上实现了令每个MRI为与之对应的、及其近邻的年龄标签同时提供影像信息的目的，既达成了信息扩充，也有效降低了标签的数量。该文进一步利用同一年龄对应的MRI中存在的多样性，提出了粒化特征分布 (GFD)，将MRI特征变换为粒化特征空间上的分布，从而将原始数据集转换为GFD与GLD之间的映射关系，实现了信息的二次扩充。最后，采用深度神经网络完成了对这个关系的学习（图18）。以35～848天的婴儿MR扫描图像为实验数据，利用脑皮层结构特征，在10-fold交叉验证下，DGFLDL年龄预测的MAE达到36.1天， 远优于传统的回归方法。
图18：DGFLDL模型示意图。
老年痴呆症、抑郁症及癫痫
17. Zhou et al.,“Inter-modality Dependence Induced Data Recovery for MCI Conversion Prediction”.
轻度认知功能障碍（Mild Cognitive Impairment, MCI）被认为是老年性痴呆（Alzheimer’s Disease，AD）的早期阶段。鉴于AD患者的不可逆的病理过程，研究和识别稳定型MCI（sMCI）和进展型MCI（pMCI）具有重要的临床价值。许多研究表明融合多模态信息（例如MRI和PET）能提高识别精度，但如何解决常见的模态缺失问题仍然是一个挑战。Zhou等人[17]提出了一种新颖的融合缺失模态数据补全、多模态隐表示学习、预测模型学习于一体的MCI预测模型（参见图19）。该方法的主要优势是利用数据类别信息来指导缺失数据的补全，以及学习多模态的隐表示来降低模态间的差异性。实验结果展示了该方法在预测MCI向AD转化的有效性（参见图20）。
图19：新颖的将缺失样本补全、隐表示学习和预测模型融于一体的模型。
图20：不同方法所得到的MCI转化预测结果。
18. Lian et al.,“End-to-End Dementia Status Prediction from Brain MRI using Multi-Task Weakly-Supervised Attention Network”.
临床实践证明认知测试（如简明精神状态量表MMSE，临床痴呆评分总和CDR等）的量化结果往往与阿尔兹海默症（AD）的病程进展联系紧密。根据前期大脑结构磁共振（sMRI）图像自动预测临床评分结果（Clinical Scores）对衡量和预测AD的病程有重要意义。Lian等人[18]提出了一种端到端的深度神经网络模型（MWAN），高效准确地完成多个认知测试结果的同时预测（图21）。区别于传统的机器学习和深度学习模型，MWAN 采用可训练的弱监督注意力机制（Weakly-supervised Attention Module）从全脑 sMRI图像中自动定位个体特异的（Subject-specific）病变区域，并以此为基础提取高阶图像特征并构建多任务回归模型。该文采用2-fold交叉验证，在多个公开数据集上进行了验证。实验结果表明，该文提出的MWAN模型能够精确地自动定位病变区域，并取得了优于现有深度学习方法的预测结果。
图21：提出的MWAN网络，用于基于全脑MRI图像的端到端大脑病变区域自动定位及多目标AD病程预测。
19. Jiao et al.,“Dynamic Routing Capsule Networks for Mild Cognitive Impairment Diagnosis”.
阿尔茨海默病（AD）是一种慢性神经退行性疾病，会给患者带来极大的痛苦。在轻度认知障碍（MCI）的早期阶段如能及时诊断则可能有效减缓AD的发展并减轻患者痛苦。Jiao等人[19]提出了一种新颖的用于MCI诊断的动态胶囊神经网络(dynamic CapsNet)，并提出和讨论了两种Dynamic CapsNet的变体，这两种方法可分别动态表示Intra-ROI（图22）和Inter-ROI的静息态功能磁共振活动（图23）。此外，该文在Inter-ROI动态表示模型中采用了可学习的动态“神经元连接”，在Dynamic CapsNet的训练期间，不同人工神经元之间的连接可以动态学习。该工作也是第一次用端到端学习的CapsNet进行MCI诊断（图24）。该文所提出的Intra-ROI / Inter-ROI CapsNet的分类精确度为0.729(0.023) / 0.773(0.022)，灵敏度为0.799(0.042) / 0.771(0.027)，特异度为0.673(0.065) / 0.774(0.040)。
图22：所提出的Intra-ROI Dynamic CapsNet方法结构图。
图23：所提出的Inter-ROI Dynamic CapsNet方法结构图。
图24：与其他方法相比的ROC和AUC 。
20. Zhou et al.,“Deep Multi-modal Latent Representation Learning for Automated Dementia Diagnosis”.
阿尔茨海默病（AD）是一种严重且多发的老年退行性疾病。由于老年人占人口总数的比例逐渐增大，AD的发病率也在不断增加，因此AD的早期诊断和预测尤为重要。许多现有方法均采用融合多模态数据（例如MRI和PET）来提高诊断精度，但仍然面临一些挑战。首先，多模态数据融合和基于多模态数据的诊断模型学习往往被分开执行，这忽略了它们之间的相关性；其次，如何有效地融合多模态数据并降低数据间的冗余信息并提高分类精度仍非常困难。Zhou等人[20]提出了一种新的融合多模态融合、深度隐表示学习和预测模型学习于一体的疾病诊断方法。该方法基于深度矩阵分解来提取每个模态的高阶（High-level）特征，并使得多模态数据共享这些高阶特征来深度挖掘多模态图像之间的相关性。在ADNI数据集上的实验结果验证了该文提出算法的有效性（参见图25）。
图25：不同方法的对比结果 (NC：Normal Control；MCI：Mild Cognitive Impairment；pMCI：progressive MCI；sMCI：stable MCI）。
21. Li et al.,“Identification of Abnormal Circuit Dynamics in Major Depressive Disorder via Multiscale Neural Modeling of Resting-state fMRI”.
传统的静息态功能磁共振集中研究不同脑区之间的功能同步性。这一方法的最大弱点是无法提供大脑认知功能在神经回路层面的机制性理解。为了突破这一局限，Li等人[21]将计算神经科学与传统连接组学结合在一起建立了多尺度神经模型参数估计方法（图26）。这一方法的最大优点是可以将微观神经回路的相互作用与宏观网络的动态变化有机整合，并且可以估算脑区内部以及脑区之间的多尺度有向连接的强度。该文把这一方法应用到66个初次发病尚未用药的抑郁症病人和66个健康对照的静息态功能磁共振数据，并对大脑的多个高级认知网络进行建模。研究发现抑郁症病人的背外侧前额叶皮质内部的兴奋性和抑制性连接强度比正常组降低，同时丘脑内部的兴奋性连接强度比正常组异常增高。这些发现与已知的这两个脑区在抑郁症中的功能异常相一致。这一新方法为精神疾病的神经病理机制研究提供了一种新的途径。
图26：用于研究抑郁症神经病理（Pathophysiological Mechanisms）的多尺度（Multiscale）神经模型参数估计方法。
牙齿正畸
22. Lian et al.,“MeshSNet: Deep Multi-Scale Mesh Feature Learning for End-to-End Tooth Labeling on 3D Dental Surfaces”.
作为矫正治疗计划（Orthodontic Treatment Planning）的关键环节，从三维牙科表面模型（Dental Surface Model）上精确标注牙齿是分析和重排牙齿位置的前提。先进的口腔内扫描仪（IntraOral Scanner，IOS）虽然实现了高效的三维表面模型重构，但由于IOS采集数据的不规则性，牙齿标注仍具有挑战性。Lian等人[22]提出一种端到端的深度学习模型（即MeshSNet）从原始的3D网格表面（Surface Mesh）上自动学习高阶表面特征，从而实现了高效且精确地自动标注牙齿。区别于传统的CNN模型，该文提出的MeshSNet模型直接以网格表面元素（Mesh Triangle）的基本特征为（即Triangle顶点坐标和法向量）输入，并模拟CNN的机制以分层地学习和融合多尺度高阶特征以提高标注的准确性（图27）。该文采用3-fold交叉验证在真实的IOS牙科表面数据上进行测试，结果表明MeshSNet性能优异（平均Dice>0.93）。
图27：提出的MeshSNet模型，其从原始的3D网格表面数据上学习和融合多尺度高阶几何特征，以实现端到端的牙齿自动标注。
23. Xiao et al.,“Estimating Reference Bony Shape Model for Personalized Surgical Reconstruction of Posttraumatic Facial Defects”.
额面矫正手术中，需术前估计病人正常的面部骨骼形状用于术前规划。Xiao等人[23]针对因事故（如车祸，战争等）造成的面部缺损，提出了一种自动化病人正常面部骨骼形状预测方法。该方法利用病人事故前拍摄的人脸照片及当前病人头部CT影像，并结合三维人脸重建、稀疏表示、统计形状模型及形变建模等技术，精确且快速地恢复病人正常面部骨骼形状（图28）。相对于传统依靠医生经验手工构建正常骨骼的方法，该方法不但提高了预测的精度及效率，同时也优化了此类额面矫正手术的术前规划实施流程。
图28：额面骨骼重建流程图，大致分为三个阶段：1）从患者过往二维人脸照片中重建正常三维人脸；2）由正常人脸CT数据集（术前收集）中分别提取人脸皮肤和骨骼，并构造一个关联二者的关联模型，然后将重建的三维人脸导入关联模型估计患者正常额面骨骼的初始形状；3）结合一个形状形变模型在当前患者面部骨骼形状的基础上优化初始估计、获得最终的正常额面骨骼形状模型。
基因与病理研究
24. Tang et al.,“Pre-operative Overall Survival Time Prediction for Glioblastoma Patients Using Deep Learning on Both Imaging Phenotype and Genotype”.
研究证明胶质母细胞瘤（GBM）患者预后与肿瘤的分子病理指标有着十分紧密的联系。目前GBM预后研究主要基于术前预测，而术前无法得知肿瘤分子病理信息，因此无法利用该信息提高预后精度。Tang等人[24]提出了一种多任务的深度学习框架，从术前多模态脑影像数据中提取与肿瘤分子病理相关的特征，并将其用于分子病理分型预测和全因生存期（Overall Survival）预测中，通过同时提取分子病理相关的特征来提高预后的预测精度。该文使用合作医院临床采集的120名GBM患者的多模态脑影像（T1增强和弥散加权成像DWI），采用十折交叉验证，与现有预后预测方法相比，该方法在全因生存期预测任务中达到了比传统方法更高的精度（图29）。
图29: 该方法预测的120例GBM患者全因生存期所构造的生存曲线。与基于单任务CNN和放射组学方法（RD-RF）得到的曲线相比，该方法的预测结果更贴合真实的生存曲线。
25. Zhu et al.,“Robust and Discriminative Brain Genome Association Analysis”.
为了解决现有Brain Genome Association (BGA) 研究未考虑类标签而导致BGA研究不具有判别能力的缺陷，Zhu等人[25]提出 BGA分析模型。该模型利用类标签，同时还考虑了数据源间的异质性和数据样本的噪音等问题进行BGA分析。采用十折交叉交叉验证，该文所述方法的分类精度超过最好对比算法3.6%，并远优于baseline方法（图30）。
图30：不同方法在原始数据 (a) 上进行Data Harmonization的区别。由于本文方法 (c) 考虑了类标签、样本重要性和数据源重要性等信息，其输出分类超平面性能和去噪方面均比现有方法（b）有明显的优势。图中SNP和ROI分别为Single Nucleotide Polymorphisms和Region-of-Interest的简写，蓝色，红色和黄色分别代表Healthy Control (HC), Alzheimer’s Disease (AD) 和Outlier, 绿色直线代表分类超平面。
人脑微结构
26. Huynh et al.,“Probing Brain Micro-Architecture by Orientation Distribution Invariant Identification of Diffusion Compartments”.
弥散磁共振成像能够用于映射人脑组织的微结构变化，但人脑微结构组织之间通常具有较大的变异性。Huynh等人[26]提出了一种球面平均信号谱成像技术 (Spherical Mean Spectrum Imaging, SMSI)，用于定量微结构变化。该方法不依赖于固定的组织成分数量假设，而是将扩散信号表示为从粗到细的多尺度光谱扩散过程。该方法允许定量神经轴突密度，微观扩散各向异性，轴突间自由扩散系数等多种组织变化。利用婴儿脑连接组计划 （Baby Connectome Project），验证了该方法即快速又准确，并且能够克服最先进的微结构模型中的偏差; 同时揭示了婴儿出生后两年内大脑微观结构的变化（如图31所示）。
图31：纵向SMSI微结构映射结果。图中展示了某受试者的组织微结构在出生后的54，146和223天里的变化。同时也展示了另一受试者在出生后的318，410和514天里的变化。
27. Huynh et al., “Characterizing Non-Gaussian Diffusion in Heterogeneously Oriented Tissue Microenvironments”.
在人脑中，复杂的各类组织细胞及其细胞膜等微结构组织使得水分子的扩散运动偏离典型的高斯分布。尽管扩散峰度成像 (Diffusion Kurtosis Imaging, DKI) 能够量化这种非高斯形态，但往往被复杂的白质纤维结构所混淆，例如纤维分叉、弯曲和分支等。Huynh等人[27]提出了一种新的扩散峰度成像模型，允许在非均匀方向的微结构环境中表征微结构的非高斯形态。该方法给予一个更广义的结果，即球面平均信号不依赖于体素内的纤维方向分布，因此可以将扩散信号的平均值拟合到对称的峰度模型中，避免了复杂的白质纤维结构对模型本身的影响。实验证明了在有方向异质性的大脑组织结构中，相比于目前的DKI技术，该文所提出的方法在定量微结构的非高斯形态中具有更高的一致性（图32）。
图32：扩散参数映射结果。顶部为扩散峰度成像，底部为本文所提出的微观扩散峰度成像。
参考文献
[1] “RCA-U-Net: Residual Channel Attention U-Net for Fast Tissue Quantification in Magnetic Resonance Fingerprinting”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Zhenghan Fang, Yong Chen, Dong Nie, Weili Lin, and Dinggang Shen]
[2] “Wavelet-Based Semi-Supervised Adversarial Learning for Synthesizing Realistic 7T from 3T MRI”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Liangqiong Qu, Shuai Wang, Pew-Thian Yap*, Dinggang Shen*] * Co-corresponding authors
[3] “Reconstructing High-Quality Diffusion MRI Data from Orthogonal Slice-Undersampled Data Using Graph Convolutional Neural Networks”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Yoonmi Hong, Geng Chen, Pew-Thian Yap*, Dinggang Shen*] * Co-corresponding authors
[4] “Multi-Stage Image Quality Assessment of Diffusion MRI via Semi-Supervised Nonlocal Residual Networks”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Siyuan Liu, Kim-Han Thung, Weili Lin, Pew-Thian Yap, Dinggang Shen]
[5] “Disease-Image Specific Generative Adversarial Network for Brain Disease Diagnosis with Incomplete Multi-Modal Neuroimages”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Yongsheng Pan, Mingxia Liu*, Chunfeng Lian, Yongxia*, Dinggang Shen*] * Co-corresponding authors
[6] “CoCa-GAN: Common-feature-learning-based Context-aware Generative Adversarial Network for Glioma Grading”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Pu Huang, Dengwang Li, Zhicheng Jiao, Dongming Wei, Guoshi Li, Han Zhang*, and Dinggang Shen*] * Co-corresponding authors
[7] “Synthesis and Inpainting-based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Dongming Wei, Sahar Ahmad, Jiayu Huo, Yunhao Ge, Wen Peng, Pew-Thian Yap, Zhong Xue, Dinggang Shen*, Qian Wang*] * Co-corresponding authors
[8] “Intrinsic Patch-based Cortical Anatomical Parcellation using Graph Convolutional Neural Network on Surface Manifold”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Zhengwang Wu, Fenqiang Zhao, Jing Xia, Li Wang, Gang Li*, Dinggang Shen*] * Co-corresponding authors
[9] “Automated Parcellation of the Cortex Using Structural Connectome Harmonics”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [H. Patrick Taylor IV, Zhengwang Wu, Ye Wu, Dinggang Shen, Han Zhang, Pew-Thian Yap]
[10] “Surface-Volume Consistent Construction of Longitudinal Atlases for the Early Developing Brains”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Sahar Ahmad, Zhengwang Wu, Gang Li, Li Wang, Weili Lin, Pew-Thian Yap*, Dinggang Shen*, and the UNC/UMN Baby Connectome Project Consortium] * Co-corresponding authors
[11] “Revealing Developmental Regionalization of Infant Cerebral Cortex Based on Multiple Cortical Properties”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Fan Wang, Chunfeng Lian, Zhengwang Wu, Li Wang, John Gilmore, Weili Lin, Dinggang Shen, Gang Li]
[12] “Harmonization of Infant Cortical Thickness using Surface-to-Surface Cycle-Consistent Adversarial Networks”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Fenqiang Zhao, Zhengwang Wu, Li Wang, Weili Lin, Shunren Xia, Dinggang Shen, Gang Li]
[13] “Early Development of Infant Brain Complex Network”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Weixiong Jiang, Han Zhang*, Ye Wu , Liming Hsu, Dan Hu, Dinggang Shen*] * Co-corresponding authors
[14] “Multi-layer temporal network analysis reveals increasing temporal reachability and spreadability in the first two years of life”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Zhen Zhou, Han Zhang*, Li-Ming Hsu, Weili Lin, Gang Pan*, Dinggang Shen*, and the UNC/UMN Baby Connectome Project Consortium] * Co-corresponding authors
[15] “A Deep Learning Framework for Noise Component Detection from Resting-state Functional MRI”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Tae-Eui Kam, Xuyun Wen, Bing Jin, Zhicheng Jiao, Li-Ming Hsu, Zhen Zhou, Yujie Liu, Koji Yamashita, Sheng-Che Hung, Weili Lin, Han Zhang*, and Dinggang Shen*, and the UNC/UMN Baby Connectome Project Consortium] * Co-corresponding authors
[16] “Deep Granular Feature-Label Distribution Learning for Neuroimaging-based Infant Age Prediction”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Dan Hu, Han Zhang, Zhengwang Wu, Weili Lin, Gang Li*, Dinggang Shen*, and the UNC/UMN Baby Connectome Project Consortium] * Co-corresponding authors
[17] “Inter-modality Dependence Induced Data Recovery for MCI Conversion Prediction”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Tao Zhou, Kimhan Thung, Yu Zhang, Huazhu Fu, Jianbing Shen, Dinggang Shen, Ling Shao]
[18] “End-to-End Dementia Status Prediction from Brain MRI using Multi-Task Weakly-Supervised Attention Network”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Chunfeng Lian, Mingxia Liu*, Li Wang, Dinggang Shen*] * Co-corresponding authors
[19] “Dynamic Routing Capsule Networks for Mild Cognitive Impairment Diagnosis”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Zhicheng Jiao, Pu Huang, Tae-Eui Kam, Li-Ming Hsu, Ye Wu, Han Zhang*, and Dinggang Shen*] * Co-corresponding authors
[20] “Deep Multi-modal Latent Representation Learning for Automated Dementia Diagnosis”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Tao Zhou, Mingxia Liu, Huazhu Fu, Jun Wang, Jianbing Shen, Ling Shao, Dinggang Shen]
[21] “Identification of Abnormal Circuit Dynamics in Major Depressive Disorder via Multiscale Neural Modeling of Resting-state fMRI”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Guoshi Li, Yujie Liu, Yanting Zheng, Ye Wu, Pew-Thian Yap, Shijun Qiu, Han Zhang*, and Dinggang Shen*] * Co-corresponding authors
[22] “MeshSNet: Deep Multi-Scale Mesh Feature Learning for End-to-End Tooth Labeling on 3D Dental Surfaces”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Chunfeng Lian, Li Wang*, Tai-Hsien Wu, Mingxia Liu*, Francisca Durán, Ching-Chang Ko, Dinggang Shen*] * Co-corresponding authors
[23] “Estimating Reference Bony Shape Model for Personalized Surgical Reconstruction of Posttraumatic Facial Defects”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Deqiang Xiao, Li Wang, Hannah Deng, Kim-Han Thung, Jihua Zhu, Peng Yuan, Yriu L. Rodrigues, Leonel Perez, Jr., Christopher E. Crecelius, Jaime Gateno, Tiansku Kuang, Steve G.F. Shen, Daeseung Kim, David M. Alfi, Pew-Thian Yap, James J. Xia*, Dinggang Shen*] * Co-corresponding authors
[24] “Pre-operative Overall Survival Time Prediction for Glioblastoma Patients Using Deep Learning on Both Imaging Phenotype and Genotype”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Zhenyu Tang, Yuyun Xu, Zhicheng Jiao, Junfeng Lu, Lei Jin, Abudumijiti Aibaidula, Jinsong Wu, Qian Wang, Han Zhang*, and Dinggang Shen*] * Co-corresponding authors
[25] “Robust and Discriminative Brain Genome Association Analysis”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Xiaofeng Zhu, Dinggang Shen]
[26] “Probing Brain Micro-Architecture by Orientation Distribution Invariant Identification of Diffusion Compartments”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Khoi Huynh, Tiantian Xu, Ye Wu, Geng Chen, Kim-Han Thung, Haiyong Wu, Weili Lin, Dinggang Shen, and Pew-Thian Yap, and the UNC/UMN Baby Connectome Project Consortium]
[27] “Characterizing Non-Gaussian Diffusion in Heterogeneously Oriented Tissue Microenvironments”, MICCAI 2019, Shenzhen, China, Oct 13-17, 2019. [Khoi Huynh, Tiantian Xu, Ye Wu, Kim-Han Thung, Geng Chen, Weili Lin, Dinggang Shen, and Pew-Thian Yap]
