中国学术期刊网络出版总库
  关闭
基于延迟调度策略的reduce调度优化算法  
   推荐 CAJ下载 PDF下载
【英文篇名】 Reduce scheduling optimization algorithm based on delay scheduling policy
【下载频次】 ★★★☆
【作者】 石义龙; 林泓; 李玉强; 王彦;
【英文作者】 Shi Yilong; Lin Hong; Li Yuqiang; Wang Yan; School of Computer Science & Technology; Wuhan University of Technology;
【作者单位】 武汉理工大学计算机科学与技术学院;
【文献出处】 计算机应用研究 , Application Research of Computers, 编辑部邮箱 2017年 07期  
期刊荣誉:中文核心期刊要目总览  ASPT来源刊  中国期刊方阵  CJFD收录刊
【中文关键词】 reduce任务; 数据本地性; 延迟调度; MapReduce任务调度;
【英文关键词】 reduce task; data locality; delay scheduler; MapReduce task scheduling;
【摘要】 在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。针对Hadoop架构中reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的reduce任务调度优化算法,通过提高reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的early shuffle阶段,使用多级延迟调度策略来提高reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析。实验结果表明,该算法明显减少了作业执行时间,提高了集群的作业吞吐量。
【英文摘要】 In large scale Hadoop cluster,good task scheduling strategy is important to improve data locality,reduce network transmission overhead,reduce job execution time and improve job throughput. In view of the low data locality problem of reduce task in Hadoop architecture,this paper put forward a reduce task scheduling optimization algorithm based on delay scheduling policy,which reduced the job execution time and improved the job throughput by improving the data locality of the reduce task. In the shuffle early...
【基金】 湖北省自然科学基金资助项目(2013CFB351)
【更新日期】 2017-07-25
【分类号】 TP301.6
【正文快照】 0引言MapReduce是一种简单的编程模型,由于在处理分析大规模数据集时的简单性和灵活性,一时成为当前主流的海量数据处理框架[1]。Hadoop作为其优秀的开源实现,被Google、Face-book、Yahoo!和阿里巴巴等IT巨头企业广泛使用[2]。Hadoop作业调度算法决定了作业的执行性能,进而影响

xxx
【相似文献】
中国期刊全文数据库
中国优秀硕士学位论文全文数据库
中国博士学位论文全文数据库
中国重要会议论文全文数据库
中国重要报纸全文数据库
中国学术期刊网络出版总库
点击下列相关研究机构和相关文献作者,可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献,使您全面了解该机构和该作者的研究动态和历史。
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献,从上层导航可以浏览更多相关领域的文献。

工业技术
  自动化技术、计算机技术
   计算技术、计算机技术
    一般性问题
     理论、方法
      算法理论
  
 
  CNKI系列数据库编辑出版及版权所有:中国学术期刊(光盘版)电子杂志社
中国知网技术服务及网站系统软件版权所有:清华同方知网(北京)技术有限公司
其它数据库版权所有:各数据库编辑出版单位(见各库版权信息)
京ICP证040431号    互联网出版许可证 新出网证(京)字008号