【作者】 张宇；

【导师】 刘卫东；

【作者基本信息】 清华大学 ， 计算机科学与技术， 2012， 硕士

【摘要】 随着互联网的蓬勃发展，云计算的浪潮汹涌澎湃，越来越多的互联网企业选择将他们的业务迁入云中，伴随业务的发展，研究人员发现来源于博客，社区，视频网站，微博等数据密集型web2.0网络应用，会在应用后台产生数目庞大的小文件，而且随着时间的推移，海量小文件的增长呈几何级增长，同时，小文件的存储访问管理也带来了诸如高并发，大流量，以及热点不集中等问题，传统的分布式文件系统如NAS等，并不能有效应对这种海量增长的小文件服务应用。为了应对海量小文件高并发，高频度，大流量，以及存储管理的问题，本文提出了基于对象存储的分布式文件系统BerryStore的设计与实现。通过对Google，FaceBook，淘宝等公司提出的成熟的分布式文件系统解决方案的研究后，BerryStore结合了以上几种方案的优势之处，通过采用对象存储的方式将海量的小文件集合成大对象文件进行存储管理，并在内存中建立对象文件元数据索引的方式，减少了小文件访问在系统中的IO开销。我们进一步利用Zookeeper设计并构建集群的协调控制体系结构，实现了对整个分布式系统进行配置，状态，数据同步以及管理的功能，避免了复杂的数据一致性访问控制流程，简化了整个存储系统的复杂度，提高了该小文件系统的可靠性。本文首先介绍目前主流的分布式文件系统在云计算平台中的应用现状，并对若干经典的架构技术进行了研究，在对比这些已有的方案之后，我们设计了应对海量小文件存储的一个系统方案，并在后面对方案进行了详细设计，对该原型系统进行实现以及性能评测，并将其与之前我们所探讨的已有方案进行对比。最后我们对目前阶段的工作进行了总结并对未来工作进行了展望。更多还原

【Abstract】 With the rapid development of the Internet application technology, especiallyWeb2.0and cloud computing, the data content people produced on the network grew inthe geometric progression. And one of the fastest growing and the most likely tochallenge the technical architecture things is the large number of small files. Traditionalfile system processed these mass small files is very tough, In addition the massive smallfiles stored may bring the problem about high concurrency, high flow, high disk IO,backup difficulty as well as the scaling problem.This paper describes BerryStore, a distributed object storage system designed forcloud service especially for the massive small files storage, which provides a simplesolution to handle a large number of small files. With a distributed coordinate controllerintroduced, our system is able to provide scalability, concurrency, fault tolerantfunction.更多还原