【作者】 李悦；

【导师】 孙济洲； 崔辰州；

【作者基本信息】 天津大学 ， 计算机技术， 2018， 硕士

【摘要】 随着云计算技术在学术界的快速发展与在工业界的广泛应用,广域分布式的基础架构逐渐成为云计算的主流配置。并且云计算的广泛应用也对其计算资源量需求和服务质量提出了更高的需求。在广域云中,不均等的数据中心基础资源配置和完成数据中心之间数据交换的有限网络带宽资源总量已经成为现阶段加速云系统整体运行速度的瓶颈之一。影响云系统运行效率的因素包括计算资源分配量、网络链路可用带宽资源量、存储系统性能等总多因素。通过计算云任务部署最佳数据中心位置等因素从而可以在不增加整体硬件成本的前提下最大程度的优化云系统的执行效率。通过对分布式广域云下快速大数据相关问题的研究,结合影响云系统整体运行效率的因素。本文提出了广域云环境下任务调度策略——基于社区发现的云任务调度算法和完成云任务数据传输的网络带宽分配策略——数据文件传输调度算法。云任务调度算法同时考虑云任务、数据文件、数据中心的依赖关系与云任务、数据文件、云任务的依赖关系作为云任务选择部署数据中心的依据,网络带宽分配算法结合云任务执行计算时间的特性与待传输数据量作为带宽分配的依据。云任务调度算法与网络带宽分配算法分析云任务和数据中心特点最终达到最小化云任务全局完成时间目标。为了深度衡量本文提出的云任务调度算法与网络带宽分配算法,本文以中国虚拟天文台云系统和谷歌B4网络云系统作为仿真实验的实验环境。实验从数据文件网络传输量、全局完成时间、高负载极端情况、对算法最小化数据文件网络传输量和最小化全局完成时间的效果进行评测。并且包括全局完成时间分布情况、网络带宽资源占用情况,从网络带宽的角度分析算法的原理与效果。根据实验结果,在最小化数据文件网络传输量的目标上,基于社区发现的云任务调度算法与数据文件传输调度算法共同使用的情况下能够比基于超图分割的任务调度算法和贪心任务调度算法效果最大提升至40.7%,在最小化全局完成时间上,算法能够最大提升效果至35.8%。更多还原

【Abstract】 With cloud service rapidly developing and widely using in the academic world and industrial circles,the geo-distributed style is evolved as the main fashion in the cloud system.Cloud service providers are required to ensure the QoS requirement,which can be an another challenge in nowadays ages.In geo-distributed cloud,the bottleneck of uneven computing resources and limited network resources is a common view that causes performance improvement lags in the cloud system.The options,which are excluded if they will lead to extra costs,can be utilized to improve execution efficiency.Through the consideration of factors mentioned above,we propose the Community Detection-based Scheduling(CDS)algorithm as the scheduling strategy and the File-TransferScheduling(FTS)algorithm as the bandwidth allocating strategy.The CDS algorithm schedules tasks based on the dependency relations between task,data and data center.The FTS algorithm allocates bandwidth based on the fact of task computing time and data transmission amount.The CDS and FTS algorithm treats the problem of minimizing the global completion time as the ultimate goal.The real China-Astronomy-Cloud network and the Google’s data center network are used to evaluate the performance of CDS and FTS algorithm from the perspective of minimizing the total file transfer volume,minimizing the global completion time,the extreme case,the distribution of global completion time and the bandwidth usage.According to experimental data,we reduce the total file transfer volume by up to 40.7%,and the global completion time by up to 35.8%.更多还原