这篇文章提出了一个基于弱监督的癌区检测算法。该算法主要分为两个阶段,第一个阶段利用有类别标签的数据训练了一个分类模型,第二阶段基于训练的分类模型提取特征图进行癌区检测。算法的主要流程如图1所示。主要的工作有三个:提出了Multi-branch Attention Module (MAM);将网络的第二层输出和第三层输出进行deep supervision (DS)操作;利用Cancer Activate Map (CAM) 和 Cancer Saliency Map (CSM)互补融合实现癌区检测。

图1. CELNet主要算法流程
MAM:这是一个集空间注意力机制和通道注意力机制于一体的模块。第一步基于通道注意力机制对输入特征图进行压缩,第二步利用大小为3、5、7的卷积核组成三个并行分支,分别对输入压缩特征图提取空间纹理特征,最后将多尺度特征图直接相加即为输出结果。
DS:该算法将第二层特征图和第三层特征图分别作了全局最大池化和全局平均池化,并将两种池化结果拼接输出。DS操作能够鼓励模型更关注图像中最有利于分类的部分,并且全局关注图像中所有有利于分类的区域。
Complementary Fusion:检测部分提取了CAM(

)和CSM(

)两种特征图。假设第l
层的特征图为

,若

表示第k个特征平面,

代表了第k个特征平面的权重,则第l
层的CAM可以表示为

。CAM体现的是输入图像上的局部区域对于分类的贡献度,并且根据不同区域的贡献权重得到目标癌区的定位结果。这篇文章选择了模型中第二层和第三层的残差模块输出的特征图根据CAM原理分别计算得到

和

,根据公式

进行特征融合得到

,其中

表示二值上采样,

为[0,1]之间的参数。CSM则体现了原输入图像上每一个像素对于分类的贡献度,本文算法在计算每个像素的贡献权重之前先对原图像进行了灰度转换和高斯平滑处理,以滤除原图带来的噪声,然后通过CSM算法计算得到

。利用

和

,通过

计算得到M,其中

表示元素点乘,

为交叉验证得到的系数。
文章选择了PCam和Camelyon16两个数据集测评CELNet的分类性能,选用了Acc、AUC、FROC、Params衡量分类效果,如下图所示:


相较于ResNet18、DenseNet以及P4M-DenseNet,CELNet在PCam数据集上的分类效果都略有提升,而在Camelyon16数据集上,CELNet的分类效果也高于Liu和Pathologist算法。
文章在HPLOC数据集上测评了CELNet的检测性能,定义检测结果和ground truth的相交面积大于ground truth的75%时为准确检测,并根据定义的检测指标计算检测精准度和召回率。结果如下所示:

可以由Table3看出,CELNet的检测准确率明显高于ResNet18+Backprop以及ResNet18+GradCAM,Table3的下半部分为CELNet检测部分的消融实验,证明了其中的MAM模块以及DS操作的有效性。
参考文献
[1] Huang Y, Chung A C S. Evidence Localization for Pathology Images Using Weakly Supervised Learning[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019: 613-621.
本文作者:朱中杭
指导老师:王连生
单 位:厦门大学
医学图像计算青年研讨会(Medical Imaging Computing Seminar,MICS)创立于2014年,其宗旨是为医学图像领域的华人青年学者提供学术交流平台,增进相互之间的了解和友谊,帮助青年学者融入学术研究大家庭。MICS聚焦于近两年内的医学图像计算领域原创研究,欢迎医学图像处理、计算机视觉、人工智能等新理论、新方法、新应用的展示,以及影像与临床医学、基础医学深度交叉的突破性进展报告。首届MICS在医学图像领域著名学者、北卡罗来纳大学教堂山分校沈定刚教授的倡议下,于2014年12月在深圳大学举行。经过2015(济南)、2016(广州)、2017(上海)、2018(南京)、2019(苏州)的蓬勃发展,MICS从参会人数不足百人到吸引上千名专家学者参与,已迅速成为全国医学图像计算领域最具影响力的活动之一。2020年的MICS会议将于7月18~19日在大连举办,欢迎全球同道专家和同学共聚学术盛宴!

“医学图像计算青年研讨会”微信公众号
