【作者】 韩韬；

【导师】 赵宇明；

【作者基本信息】 上海交通大学 ， 控制工程， 2018， 硕士

【摘要】 人体动作识别是计算机视觉的重难点问题,是进行场景理解和人际交互的基础,在视频监控、虚拟现实、自动驾驶等领域有着广泛的应用。本文主要研究基于RGB信息的动作识别,相较于Kinect获取的RGB-D视频,RGB视频的数据量更大,应用面更加广泛。目前采用主流的算法是一种是卷积神经网(CNN)进行特征抽取,循环神经网(RNN)进行时序信息学习,最后进行分类;另一种是将空间和时间的特征融合,统一进行学习和分类,如3DCNN和CNN联合池化等。目前大多数深度学习算法关注的是网络结构,通过改变模型结构和微调数据集来提升模型的性能。而实际上,视频图像中包括丰富的视觉线索,静态的包括背景和物体,动态的包括场景变化,人体的姿态和运动状态等等。如何选取和融合有价值的视觉信息,是视频动作学习问题面临的新挑战。针对上述问题,本文利用光流信息和人体姿态信息作为视频中动作信息的补充,采用CNN进行空间域的特征提取,利用长短期记忆网络(LSTM)进行时间域的训练学习,最后在光流和姿态模型的基础上,结合场景特征模型进行融合估计。本文的研究工作主要如下:1.研究了姿态识别问题的难点,并结合具体场景进行了应用。对人体姿态识别问题进行了研究,重点介绍了卷积姿态机(CPM)方法。结合生产线流水操作的实际场景,利用卡尔曼滤波算法实现了对多个操作人手臂的实时跟踪,并对实验结果进行了分析。2.利用一种深度卷积网络,实现了动作图像的语义分割。针对全卷积网络(FCN)精细度和运算效率有限的问题,使用了一种深度编码-解码网络框架(Fast-Net)进行人体部位分割,并将条件随机场(CRF)嵌入到网络中进行优化。在MPII和AI Challenger数据集上进行了实验,证明了该算法在正确率和效率两方面的提升。3.基于光流和姿态信息,提出了一种多模型融合的动作识别框架。该框架将深度学习(Flow-Net)得到的光流图,图像分割(Fast-Net)得到的姿态图以及原图作为输入,分别通过CNN和RNN建立多通道模型,最终对动作分类结果进行融合。在动作识别主流数据集HMDB51和UCF101上进行了实验,主要从准确率的角度对实验结果进行了分析。实验证明了使用人体姿态和光流信息能够有效提升检测准确率。更多还原

【Abstract】 Human action recognition,one of the most fundamental challenges in computer vision,has wide applications in video surveillance,virtual reality and automatic driving.Our research mainly focuses on RGB video streams due to massive data storage and outdoor detection,compared to depth images.State-of-the-art action recognition methods based on deep learning divide in two steams: CNN for spatial feature extraction and RNN for temporal information learning,joint feature learning methods like 3D-CNN and CNN-Pooling.While most research lay stress on model structure by optimizing network layers and fine-tuning dataset,multiple visual cues like objects,motion,gestures i.e.the has been ignored.Hence,how to choose proper visual features would be the new challenge.To address the problems above,we propose a multi-stream model that integrates raw image,optical flows and human body segmentations.The spatial and temporal features are learned respectively by CNN and LSTM,and achieve overall result by late model fusion.The contributions of the paper can be concluded as:1.We analyze the difficulty in pose estimation problem,and apply open-pose and kalman-filtering methods to multi-operator detection and tracing in production line.2.We use deep encoder-decoder structure to solve body segmentation problem and apply CRF optimization method to CNN network.Experiments on MPII and AI Challenger dataset show great performance of this method.3.We propose a multi-stream architecture for human action recognition.Optical flow learned from deep neural network and body segmentation are thrown to CNN and RNN as inputs along with raw images.Experimental results on the public datasets HMDB51 and UCF101 show that human gestures and optical flow information help improve the overall accuracy.更多还原