节点文献

FCD大数据并行处理的动态任务调度算法

Dynamic task scheduling algorithm of parallel computing for FCD big data

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 陈锋张智李琴剑陈宇强陈国良

【Author】 CHEN Feng;ZHANG Zhi;LI Qinjian;CHEN Yuqiang;CHEN Guoliang;Department of Automation,University of Science and Technology of China;Anhui LoongSon Science and Technology Co.,Ltd;School of Computer Science and technology,University of Science and Technology of China;

【通讯作者】 陈锋;

【机构】 中国科学技术大学信息学院安徽中科龙安科技股份有限公司中国科学技术大学计算机学院

【摘要】 浮动车数据(floating car data, FCD)技术是大规模城市路网交通流实时采集的有效方法.城市交通的动态诱导和控制需要对海量FCD进行快速处理.鉴于此,提出了FCD并行计算的动态任务调度方法.针对FCD数据包计算时间的不确定性和动态性,根据计算节点的处理能力进行数据包的动态分割,在处理过程中,采用动态任务分配策略以实现计算节点的同步.该方法在龙芯国产大数据一体机平台上进行了实现,并采用现场FCD数据进行了实验验证,结果表明,该方法较轮询和Min-Min调度算法,显著地提高了并行处理的性能.

【Abstract】 FCD(floating car data) technique is new way of collecting real-time traffic flow from large-scale urban networks. It is necessary to implement rapid processing of FCD big data for the dynamic guidance and control of urban traffic. A dynamic task scheduling algorithm is proposed for parallel computation of FCD. To address the uncertainty and dynamics of FCD package processing, FCD packages are partitioned dynamically. The load balance among computing nodes can be achieved using the dynamic task allocation strategy. The algorithm is developed on LoongSon big data integrated machine platform and evaluated using field FCD. The experimental results indicate that the proposed algorithm has significantly higher parallel processing performances compared to the polling scheduling algorithm and Min-Min scheduling algorithm.

【基金】 国家重点研发(973)计划(2017YFC0840206);安徽省重大科技专项(17030901007)资助
  • 【文献出处】 中国科学技术大学学报 ,Journal of University of Science and Technology of China , 编辑部邮箱 ,2018年09期
  • 【分类号】TP311.13;U491
  • 【被引频次】5
  • 【下载频次】94
节点文献中: 

本文链接的文献网络图示:

本文的引文网络