基于二维超声及超声造影的新型双分支交叉模态注意力转换网络诊断甲状腺结节

【作者】 迟剑宁； 陈佳慧； 苗健； 王欢； 于晓升； 黄瑛；

【机构】 中国医科大学附属盛京医院；

【摘要】 目的:在甲状腺结节的诊断中,充分提取更多来自于二维超声的空间信息和超声造影的时间信息,构建双分支交叉模态注意力网络(Dual-Branch Cross-Modality-Attention Transformer Network,DB-CMT-Net)模型,对甲状腺结节有创操作前进行精确诊断。方法:收集整理大规模甲状腺超声-超声造影视频数据(2072个甲状腺结节),经设计的双分支交叉模态注意力网络进行运算。双分支深度学习框架为:1)从超声造影中提取的时空特征分层嵌入到从超声中提取的空间特征中,用于结节分割;2)从超声中提取的空间特征对超声造影的时空特征进行引导,用于结节分类(Fig.1)。模型首先以3D ResNet为基础,在双分支、多任务并添加弱监督学习的七个实验中进行运算且有效性,应用梯度加权类激活映射(gradient-weighted class activation mapping,GCAM)可视化模型决策的聚焦部分,并与在人工智能领域较为成熟应用的GoogLeNet,ResNet,LoGoNet等14种深度学习模型在US和CEUS两种模态下全部视频及包绕整个结节ROI区域的各自诊断效能进行比较。选择其他医院(非进行超声及造影操作)的六位专家读片进行比较,并提出对难以判断的病例参考双分支模型预测结果的联合诊断模式。结果:包含双分支交叉模态注意力网络的模型具有最好的性能,在甲状腺结节的诊断中,热图显示模型更加关注了近结节边界区域(Fig.2)。相较于已有深度学习模型,我们的双分支交叉注意力网络模型在2072个结节中取得了最好的性能,AUC为0.845,灵敏度0.97,特异度0.66,准确度0.87(Fig.3)。与人类专家比较,DB-CMT模型表现优于人类专家平均水平,与最高水平相近。对于经验不足的临床医生,可借助我们的模型进行辅助提高效能(P<0.05)(Fig.4)。结论:我们所构建的双分支交叉注意力网络,可充分整合二维超声的空间信息和超声造影的时间信息,在甲状腺结节的诊断中,达到既往文献中最高的灵敏度,有望在甲状腺结节术前精确诊断中进一步深入拓展。更多还原