基于双模态图像融合的施工现场目标检测算法

【作者】 邓晖； 余炳霖； 邓逸川；

【机构】 华南理工大学土木与交通学院； 亚热带建筑与城市科学全国重点实验室；

【摘要】 针对单一模态目标检测算法的不足,提出一种基于双模态图像融合的施工现场目标检测算法。通过构建双支路主干网络,实现可见光和红外图像的输入,双峰特征融合模块实现双模态图像特征的有效融合。为验证算法的有效性,采用众包的方式构建了双模态图像数据集SODA-MM。该数据集包含8种类别,超过12000对图像,40000个标注。实验结果表明,该算法在自建数据集上的准确率、召回率、mAP@0.5和mAP@0.5:0.95分别达到90.8%、90.0%、94.4%和63.3%,优于单模态目标检测算法。更多还原