| 
  中国学术期刊网络出版总库
  关闭
同构Hadoop环境作业执行时间计算方法  
   推荐 CAJ下载 PDF下载
【英文篇名】 Method for computing execution time of jobs in homogeneous hadoop environments
【下载频次】 ★★★★
【作者】 张霄宏; 海林鹏; 贾宗璞; 沈记全; 赵文涛;
【英文作者】 ZHANG Xiaohong; HAI Linpeng; JIA Zongpu; SHEN Jiquan; ZHAO Wentao; Shenzhen Institutes of Advanced Technology; Chinese Academy of Sciences; School of Computer Science and Technology; Henan Polytechnic University; Center of Modern Education;
【作者单位】 中国科学院深圳先进技术研究院; 河南理工大学计算机科学与技术学院; 河南理工大学现代教育中心;
【文献出处】 计算机工程与应用 , Computer Engineering and Applications, 编辑部邮箱 2014年 10期  
期刊荣誉：中文核心期刊要目总览  ASPT来源刊  中国期刊方阵  CJFD收录刊
【中文关键词】 Hadoop MapReduce; 作业执行时间; 调度;
【英文关键词】 Hadoop MapReduce; execution time; scheduling;
【摘要】 执行时间是作业调度的重要参考因素之一。通过分析Hadoop MapReduce环境作业的执行特征,提出了以map任务和reduce任务执行时间为输入,估算作业执行时间的方法。该方法在一定假设条件下,借助作业预执行来获取map任务和reduce任务的执行时间。实验结果表明,该方法估算作业执行时间的误差率小于7%。
【英文摘要】 Execution time is very important for job scheduling. In this paper, the execution characters of Hadoop MapReduce jobs are analyzed, and then a new method is proposed to compute the execution times of these jobs. The method takes the execution times of map task and reduce task as input data. It captures these execution times by pre-executing under an assumption. The method has been evaluated in a Linux cluster, the experiment results show that the method computed the execution times of jobs with the error ra...
【基金】 国家自然科学基金面上项目(No.51274088); 河南省教育厅项目(No.ITE12103); 河南理工大学矿山信息化省级重点实验室项目(No.KY2012-05); 河南理工大学博士基金项目(No.B2012-099); 河南省基础与前沿技术研究计划项目(No.122300410415)
【更新日期】 2014-08-08
【分类号】 TP301.6
【正文快照】 1引言随着互联网技术的快速发展,数据呈爆炸式增长[1]。如何存储及处理急剧增长且规模巨大的数据已成为IT领域亟待解决的一道难题。为解决这一难题,Google公司率先提出了MapReduce模型[2-3],其开源实现HadoopMapReduce[4]已在产业界和学术界获得了广泛应用[5-7]。在Hadoop MapR

xxx
【读者推荐文章】中国期刊全文数据库 中国博士学位论文全文数据库 中国优秀硕士学位论文全文数据库
【相似文献】
中国期刊全文数据库
中国优秀硕士学位论文全文数据库
中国博士学位论文全文数据库
中国重要会议论文全文数据库
中国重要报纸全文数据库
中国学术期刊网络出版总库
点击下列相关研究机构和相关文献作者，可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献，使您全面了解该机构和该作者的研究动态和历史。
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献，从上层导航可以浏览更多相关领域的文献。

工业技术
　 自动化技术、计算机技术
　　 计算技术、计算机技术
　　　 一般性问题
　　　　 理论、方法
　　　　　 算法理论
  
 
  CNKI系列数据库编辑出版及版权所有：中国学术期刊(光盘版)电子杂志社
中国知网技术服务及网站系统软件版权所有：清华同方知网(北京)技术有限公司
其它数据库版权所有：各数据库编辑出版单位（见各库版权信息）
京ICP证040431号    互联网出版许可证 新出网证（京）字008号