节点文献

一种基于动态资源采集的Hadoop作业调度算法

A Scheduler for Hadoop Based on Dynamic Resource Collection

  • 推荐 CAJ下载
  • PDF下载
  • 不支持迅雷等下载工具,请取消加速工具后下载。

【作者】 彭志伟谷建华

【Author】 PENG Zhi-wei;GU Jian-hua;School of Computer Science,Northwestern Polytechnical University;

【机构】 西北工业大学计算机学院

【摘要】 为了克服Hadoop中基于槽的资源模型对集群资源的浪费,提高Hadoop集群的资源利用率,提出了一种基于动态资源采集的Hadoop作业调度算法.通过在作业运行过程中动态采集部分任务的CPU,内存和IO的资源利用率来评估同一作业中其他任务的资源需求,然后根据任务的实际资源需求以及TaskTracker节点的负载情况进行任务调度,以充分利用各TaskTracker节点的计算资源.通过对比实验表明该调度算法能明显提高集群的资源利用率,缩短作业的完成时间.

【Abstract】 In order to overcome the problem of wasting of resources in hadoop cluser based on the slot resource model,a scheduler based on the dynamic resource collection has been proposed.According to collect theCPU, Memory and IO resource utilization of part of tasks in the hadoop job,We estimate the resource demand of the rest tasks in the job,and then schedule these tasks according to their resource demand and the load of every Tasktracker. The contrast experiment shows the scheduler we proposed can increase the resource utilization of the hadoop cluser and reduce the completion time of the Hadoop job.

【关键词】 HadoopMapReduce调度资源需求
【Key words】 HadoopMapReducescheduleresource demand
  • 【文献出处】 微电子学与计算机 ,Microelectronics & Computer , 编辑部邮箱 ,2014年04期
  • 【分类号】TP393.01
  • 【被引频次】10
  • 【下载频次】123
节点文献中: 

本文链接的文献网络图示:

本文的引文网络