基于社交媒体视频的龙卷检测：面向弱目标与背景噪声抑制的建模方法

【作者】 陈红进； 周康辉； 郑中华； 韩雷； 郑永光；

【机构】 中国海洋大学； 国家气象中心； 曼彻斯特大学；

【摘要】 龙卷作为破坏性极强但生命期短暂的强对流天气现象,传统观测手段(如地面气象站、多普勒雷达等)虽可识别潜在的龙卷特征,但由于缺乏对实际触地过程的直接确认能力,常常难以形成完整、准确的事件记录。近年来,随着智能手机与社交媒体平台的普及,公众拍摄并上传的极端天气视频逐渐成为一种新兴的灾害信息来源,蕴含着丰富的图像与时空线索,有望为龙卷事件提供可视化佐证,提升记录的准确性与可信度。本文针对用户拍摄的龙卷视频识别任务,提出了一种新型端到端深度学习模型——TorViNet。该模型结合时空建模与多模态注意力机制,旨在解决传统方法在处理此类视频时面临的图像冗余、目标微弱、遮挡严重和背景干扰等挑战。TorViNet模型设计包括三项关键模块:(1)动态帧级选择模块(DFSM),基于帧级显著性评分从整段视频中自适应筛选出最具正相关性与负相关性的关键帧,以提升时序特征的辨识度;(2)空间-频率多头注意力机制(SFMHA),融合小波变换提取的频率域特征与空域卷积特征,有效增强远距离、遮挡条件下的龙卷视觉表现;(3)局部对比感知多层感知机(LC-MLP),通过区域间语义关系建模压制背景噪声,突出龙卷区域的显著性。三者协同作用,有效提升了模型对真实龙卷视频的识别鲁棒性。为支撑模型训练与评估,本文构建了一个包含10,204段视频的真实龙卷视频数据集(TorVideo),涵盖2008—2023年间中国已知龙卷事件。其中4,533段为经人工验证的正样本,5,671段为包含风暴、雷雨、强风等负样本。实验结果表明,TorViNet在准确率、召回率、F1值等指标上均显著优于目前主流视频分类方法(如C3D、I3D、TimeSformer、Uniformer等),测试集准确率达91%,F1值达0.89,显示出良好的泛化能力和工程适用性。本研究展示了公众拍摄视频在龙卷识别与事件确认中的潜力,所提模型可为现有雷达识别和灾情报告系统提供有益补充,特别适用于气象监测稀疏的地区。后续工作将进一步探索模型与雷达数据的融合机制,推动其在实际业务预警与应急响应中的部署与应用。更多还原