| 
  中国学术期刊网络出版总库
  关闭
支持Hadoop大数据访问的pNFS框架研究与实现  
   推荐 CAJ下载 PDF下载
【英文篇名】 Research and implementation on p NFS framework to access Hadoop big data
【下载频次】 ★★★☆
【作者】 何文婷; 刘健; 袁庆升; 张军伟; 董欢庆; 刘振军;
【英文作者】 He Wenting; Liu Jian; Yuan Qingsheng; Zhang Junwei; Dong Huanqing; Liu Zhenjun; Institute of Computing Technology; Chinese Academy of Sciences; University of Chinese Academy of Sciences; Institute of Information Engineering; National Computer Network Emergency Response Technical Team/Coordination Center of China;
【作者单位】 中国科学院计算技术研究所; 中国科学院大学; 中国科学院信息工程研究所; 国家计算机网络应急技术处理协调中心;
【文献出处】 计算机应用研究 , Application Research of Computers, 编辑部邮箱 2016年 11期  
期刊荣誉：中文核心期刊要目总览  ASPT来源刊  中国期刊方阵  CJFD收录刊
【中文关键词】 分布式文件系统; 大数据; 缓存; 布局;
【英文关键词】 distributed file system; big data; cache; layout;
【摘要】 随着大数据时代到来,分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的p NFS框架为目的,采用在Hadoop与p NFS之间添加p NFS shim layer模块的方法,实现了p NFS支持Hadoop大数据访问的HDFS APIs;通过在p NFS shim layer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对提出的框架进行测试,结果显示写性能提升超过45%,读性能提升超过97%,证明此框架可以有效地支持Hadoop大数据访问。
【英文摘要】 As the era of big data coming,it has been a trend that distributed file systems supports Hadoop to access big data.This paper designed and implemented a p NFS framework for accessing big data with Hadoop. The framework added a p NFS shim layer module between Hadoop and p NFS,and then implemented the HDFS APIs. In addition,it added write cache and the node data layout aware mechanism to optimize the performance of the system. This paper used Hadoop benchmarks to test the designed p NFS framework. The results...
【基金】 国家“863”计划资助项目(2013AA013205); 中国科学院重点部署基金资助项目(KGZD-EW-103-5(7)); 国家自然科学基金青年基金资助项目(61202057)
【更新日期】 2016-12-01
【分类号】 TP311.13
【正文快照】 0引言近年来数据呈现爆炸式增长,信息技术已全面进入大数据时代。大数据处理技术的典型代表为Apache的Hadoop[1,2]开源项目。Hadoop是一种提供高可扩展性、高容错性服务的开源软件,实现了在计算机集群上分布式处理大数据集的框架。Hadoop实现了良好的数据并发处理Map/Reduce[3,

xxx
【相似文献】
中国期刊全文数据库
中国优秀硕士学位论文全文数据库
中国博士学位论文全文数据库
中国重要会议论文全文数据库
中国重要报纸全文数据库
中国学术期刊网络出版总库
点击下列相关研究机构和相关文献作者，可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献，使您全面了解该机构和该作者的研究动态和历史。
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献，从上层导航可以浏览更多相关领域的文献。

工业技术
　 自动化技术、计算机技术
　　 计算技术、计算机技术
　　　 计算机软件
　　　　 程序设计、软件工程
　　　　　 程序设计
　　　　　　 数据库理论与系统
  
 
  CNKI系列数据库编辑出版及版权所有：中国学术期刊(光盘版)电子杂志社
中国知网技术服务及网站系统软件版权所有：清华同方知网(北京)技术有限公司
其它数据库版权所有：各数据库编辑出版单位（见各库版权信息）
京ICP证040431号    互联网出版许可证 新出网证（京）字008号