节点文献

面向文件的分布式系统及其自动负载平衡

File-oriented Distributed System and Automatic Load Balance

【作者】 陈浩

【导师】 李志蜀;

【作者基本信息】 四川大学 , 计算机应用, 2003, 硕士

【摘要】 随着网络技术的日益成熟,有越来越多的区域性网络系统建立了起来,在这类网络的实际应用中,文件的下载服务占有较为重要的地位。本文重点分析了目前在这类网络中文件下载服务存在的一些问题,并对其自身特点和用户对文件的访问特点进行统计分析,提出了“文件的爆发访问(File Burst Access,FBA)”和“服务器的潮汐访问(Server Tide Access,STA)”这两个网络中用户的基本访问特点。 针对目前网络中文件下载服务存在的问题,本文讨论了采用目前已有的一些技术手段在解决这些问题上的不足,并以FBA和STA访问特点为出发点,建立了一个面向文件(File-Oriented)的分布式系统模型,研究实现了在这个模型中的相关算法。这个系统是建立在应用层面上的,采用分布式的方式来解决文件在管理和下载中面临的问题,对于最终用户来说这个系统是透明的,整个系统就象一个抽象的大文件存储服务器一样为用户提供文件的下载服务。 采用了分布式系统,则需要考虑分布式系统中的负载平衡问题。由于本系统设计的主要目的是在区域网中实现文件下载服务器的负载平衡,通过对多个服务器的文件监控以及对FBA和STA访问特点的分析,在本系统中,负载的自动平衡也是面向文件的,以文件为平衡的主要目标。采用了两种文件平衡方法,“动态文件平衡(Dynamic File Balance,DFB)”和“预测文件平衡(Forecast File Balance,FFB)”。通过对文件的平衡,实现了文件下载服务器的负载平衡,并最终达到了整个网络系统的负载平衡,满足了用户对于文件下载的需求。 采用的面向文件的负载平衡方式,也决定了本系统主要应用于区域网环境中:在文件的平衡过程中需要在网络中传输平衡文件,目前在Iniemet范围中还无法实现较高速度的文件平衡,本系统的实用价值也就相对较小了。而在区域网范围内则可以利用高速的连接来进行文件平衡,能发挥出本系统的优势。 为了解决系统中的文件冗余、副本管理、传输校验等问题,采用了MDS信息摘要算法来对文件建立特征码,以特征码为系统中文件管理的主要依据。同时还采用了“副本衰减(CoPy Attenuation)”的方法来对文件平衡中产生的副本文件进行存储资源的回收,提高了存储资源的利用率,避免了由于大量的副本文件可能带来的资源浪费。 在这个模型上,我们建立了一套DFTP系统。通过测试的数据表明,可以在一定程度上解决网络服务质量问题和资源闲置问题。提高了整个网络的效率,满足了网络用户的需求,对于研究建立基于Intemet的面向文件分布式系统也具有积极的意义。

【Abstract】 With the developing of LAN technology , more and more Local Area Networks are set up. A study has been made about the problems appearing in the net . Through the Analysis of the user access characteristics in the net , the "File Burst Access, FBA" and the "Server Tide Access, STA" characteristics are discovered .Based on these two characteristics and some existing technology , a File-Oriented distributed system "DFTP" model is built to solve the problems in the LANs. This system is built upon the application level , it is transparent to the end users. The whole system appears like a huge storage server to provide service.In a distributed system, load balance is the first thing that need to be considered. The DFTP system is designed to use in a file download environment, so the load balance is File-Oriented too. DFTP system provides two methods to achieve file balance, "Dynamic File Balance, DFB" and "Forecast File Balance, FFB". With the balance of file, the load of the system will be balanced.The File-Oriented characteristic decide the DFTP system is mainly used in LAN. In the procedure of file balance, files will be transmitted between storage servers, but nowadays, it is difficult to achieve high speed transfer in Internetarea.To manage the redundancy files and provide a way to verify transferred files, DFTP use a Message-Digest Algorithm 5 to assign characteristic code to files. The characteristic code is the primary evidence to manage files in DFTP system. The "Copy Attenuation" is also used to delete the redundancy files that are made in the file balance procedure, to avoid the waste of storage resources.The experiment data appears that the DFTP system can solve the problems of the LAN in a certain extent. The DFTP system is also conductively to build File-Oriented distributed system in Internet area.

  • 【网络出版投稿人】 四川大学
  • 【网络出版年期】2004年 01期
  • 【分类号】TP393.05
  • 【下载频次】144
节点文献中: