| 
  中国学术期刊网络出版总库
  关闭
一种Hadoop小文件存储优化方案  
   推荐 CAJ下载 PDF下载
【英文篇名】 A Small Hadoop File Storage Optimization Scheme
【下载频次】 ★★★★
【作者】 王全民; 张程; 赵小桐; 雷佳伟;
【英文作者】 WANG Quan-min; ZHANG Cheng; ZHAO Xiao-tong; LEI Jia-wei; School of Computer Science; Beijing University of Technology;
【作者单位】 北京工业大学计算机学院;
【文献出处】 计算机技术与发展 , Computer Technology and Development, 编辑部邮箱 2016年 11期  
期刊荣誉：ASPT来源刊  CJFD收录刊
【中文关键词】 Hadoop分布式文件系统; 小文件; 合并算法; 文件关联;
【英文关键词】 HDFS; small files; merge algorithm; file connection;
【摘要】 Hadoop分布式文件系统(HDFS)适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,过多的小文件将会导致整个集群的负载过高。为了提高HDFS处理小文件的性能,提出了双重合并算法-即基于文件之间的关联关系和基于数据块平衡的小文件合并算法,能够将小文件的文件体积大小进行均匀分布。通过该算法能够进一步提升小文件的合并效果,减少HDFS集群主节点内存消耗,降低负载,有效降低合并所需的数据块数量,最终能够提高HDFS处理海量小文件的性能。
【英文摘要】 The performance of Hadoop Distributed File System(HDFS) in dealing with the problem of storing and handling large files is excellent,but the performance and efficiency is down significantly when dealing with a huge number of small files. Too many small files will lead to the high load of entire cluster. In order to improve the performance of HDFS handling small files,the double-merging algorithm is put forward based on the relationship between files and merging algorithm based on the data block balance and ...
【基金】 国家自然科学基金资助项目(61272500)
【更新日期】 2016-12-09
【分类号】 TP333
【正文快照】 0引言随着互联网的高速发展,当今社会所产生的数据量在急速增长,据统计目前人类一年产生的数据量的规模就相当于人类进入现代化以前所有历史的总和。2014年国内数据总量约为1.4 ZB,是2012年的3.5倍,预计2020年国内产生的数据总量将超过8.6ZB[1]。Hadoop是一个能够对大数据进行?

xxx
【读者推荐文章】中国期刊全文数据库 中国博士学位论文全文数据库 中国优秀硕士学位论文全文数据库
【相似文献】
中国期刊全文数据库
中国优秀硕士学位论文全文数据库
中国博士学位论文全文数据库
中国重要会议论文全文数据库
中国重要报纸全文数据库
中国学术期刊网络出版总库
点击下列相关研究机构和相关文献作者，可以直接查到这些机构和作者被《中国知识资源总库》收录的其它文献，使您全面了解该机构和该作者的研究动态和历史。
【文献分类导航】从导航的最底层可以看到与本文研究领域相同的文献，从上层导航可以浏览更多相关领域的文献。

工业技术
　 自动化技术、计算机技术
　　 计算技术、计算机技术
　　　 电子数字计算机（不连续作用电子计算机）
　　　　 存贮器
  
 
  CNKI系列数据库编辑出版及版权所有：中国学术期刊(光盘版)电子杂志社
中国知网技术服务及网站系统软件版权所有：清华同方知网(北京)技术有限公司
其它数据库版权所有：各数据库编辑出版单位（见各库版权信息）
京ICP证040431号    互联网出版许可证 新出网证（京）字008号