Hadoop异构环境中数据副本动态管理研究

发布时间:2020-06-26 03:13
【摘要】:副本管理策略是云计算环境下分布式文件系统的重要研究方向之一。合理的副本因子以及副本放置策略不仅可以为用户提供更加可靠的数据访问服务,同时能够提高系统的负载均衡和云计算平台的计算效率。论文首先对Hadoop平台下的分布式文件系统HDFS进行了研究,详细介绍了HDFS的副本管理策略,分析了不同副本管理策略的优缺点,同时对HDFS数据块均衡策略进行了详细分析。其次,分析了HDFS默认数据块均衡策略的局限性,并在此基础上提出了适用于异构环境的数据块负载均衡算法,该算法基于各个节点的性能及存储空间等参数计算得出各节点的理论空间利用率,并将用户输入的阈值转化为各节点的参数化阈值,从而实现了在异构环境下对数据分布的负载均衡。论文修改了Hadoop源码并重新编译部署,搭建测试环境进行实验。实验结果表明该算法在异构环境下,能够让集群的数据分布达到更加均衡的状态,一定程度上提高了集群的整体性能。然后,论文对副本管理策略中的副本因子决策算法进行了研究。指出当前文件热度可能存在较大差异,对热点数据的访问将影响作业的执行效率。而现有副本因子调整策略基于当前热度,不仅具有滞后性,亦会受到突发访问波动的影响,因此副本因子决策应当以文件的未来热度为依据。基于此,建立了以灰色预测为基础的预测模型,并利用马尔科夫模型修正突发访问造成的预测偏差,然后基于文件的预测热度建立有限通道服务模型,决策出符合用户需求的副本因子。最后,对副本因子调整过程中新增副本的放置策略进行了优化研究。在副本因子动态调整过程中,目前多数副本放置算法优化目标单一,而传统多目标优化方法存在权值系数的选取依赖专家经验、优化结果受该系数影响较大、建模过程复杂等缺陷。在此研究基础上,论文提出了一个基于多目标优化的新增副本放置策略。首先建立网络流量、节点性能负载均衡度、存储空间均衡度等多个优化目标;然后引入多目标优化算法NSGA-II进行分析求解;最后提出一种基于解空间中个体密度的最优目标选择策略,从非支配解集中决策出最终副本放置方案。论文首先进行了仿真实验,仿真结果表明该算法具有较好的收敛性,验证了算法的有效性;然后在实际集群环境中修改了Hadoop源码,对本文提出的副本因子决策算法以及副本放置策略进行了实验分析。实验结果表明:改进后的算法可有效减少热点数据的访问冲突,提高系统的吞吐量,并有效减少副本移动过程中的网络负载,在整体性能上具有更好的优化效果。
【学位授予单位】:南京航空航天大学
【学位级别】:硕士
【学位授予年份】:2015
【分类号】:TP311.13

【相似文献】

相关期刊论文 前10条

1 ;NetIQ Identity Integration Suite对异构环境的用户访问进行集中管理和控制[J];铁路计算机应用;2010年03期

2 张步忠;金海东;金海平;;一个异构环境下的分布式开发方案[J];计算机与现代化;2007年01期

3 狄振强;徐培松;;异构环境下空闲计算资源的共享与聚集[J];计算机工程;2010年16期

4 董国钢;郑永昌;朱华;黎同根;;异构环境下数据记录的复制与追加[J];微计算机信息;2012年09期

5 李军怀,张景,吕林涛,罗作民,李朋;异构环境下信息资源集成与访问模型研究[J];大连理工大学学报;2003年S1期

6 张实,肖卫东,唐九阳;基于Web Services的异构空间信息共享[J];计算机应用研究;2004年10期

7 冯锡炜;王艳秋;薛峰;张同卫;卢红杰;;异构环境数据交换主动发现技术研究与实现[J];辽宁石油化工大学学报;2009年02期

8 郝明明;吕宏伟;;异构环境下数据传输的研究与实现[J];机械工程与自动化;2010年01期

9 赵建,李蔚清,杨秋昊;异构网络互连及其实时通信的研究与实现[J];南京理工大学学报;2000年06期

10 黄学武;李丽;;异构环境下分布式事务控制协议选取和系统建立[J];韶关学院学报;2007年09期

相关会议论文 前4条

1 蔡德勋;唐韶华;;网格环境下基于WS-Federation的跨异构域信任认证机制[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年

2 冯锡炜;张同卫;薛峰;;基于发布/订阅方式异构环境数据交换技术[A];IT服务促进企业信息化——第十一届中国Java技术及应用交流大会文集[C];2008年

3 刘方;;异构SAP系统迁移实践[A];第十届中国科协年会科技创新与工业强市战略论坛论文汇编[C];2008年

4 赵坤荣;全鼎余;林奎;杨大勇;杨剑;;面向异构环境监测网络的构件管理系统设计[A];2010中国环境科学学会学术年会论文集(第二卷)[C];2010年

相关重要报纸文章 前8条

1 贺宏良;工具的宣言[N];中国计算机报;2004年

2 本报记者 张峰;实现效用计算 异构软件当先[N];网络世界;2004年

3 李琨;在异构环境下创造信息平原[N];中国计算机报;2006年

4 刘鹏;Cactus:在异构环境中优化应用[N];中国计算机报;2004年

5 CPW记者 凡妮;IBM eServer z系列要简约快跑[N];电脑商报;2005年

6 ;英信NS5200异构环境耍大刀[N];计算机世界;2003年

7 郭涛;亲临富士通平台解决方案中心[N];中国计算机报;2006年

8 ;IT保平安[N];计算机世界;2002年

相关博士学位论文 前3条

1 曹维;大规模CFD高效CPU/GPU异构并行计算关键技术研究[D];国防科学技术大学;2014年

2 李伟平;异构环境下协同设计研究及其在汽车产品设计中的应用[D];湖南大学;2007年

3 贾虹;基于Web的产品远程协同设计关键技术研究[D];浙江工业大学;2012年

相关硕士学位论文 前10条

1 韩宝刚;面向异构环境的访问控制系统设计与实现[D];西安电子科技大学;2014年

2 张松;Hadoop异构环境中数据副本动态管理研究[D];南京航空航天大学;2015年

3 卓辉;异构环境下实时协同中适应性感知的研究与实现[D];浙江大学;2007年

4 安彪;异构/融合网络业务质量评价系统的研究[D];北京邮电大学;2011年

5 李杜;异构服务组装中资源发现与组织管理工具及关键技术研究[D];中南大学;2008年

6 张琳;异构环境下基于DHT的P2P应用的研究与设计[D];西北工业大学;2006年

7 谢礼坤;分布式异构环境下信息共享与服务机制研究[D];福州大学;2004年

8 房成萍;面向分布式异构环境的轻量级数据传输协议及其应用研究[D];济南大学;2011年

9 王少卿;异构CVE系统研究[D];浙江大学;2005年

10 熊敏;基于CORBA和移动Agent的异构环境通信研究[D];广东工业大学;2008年



本文编号:2729738

论文下载
论文发表

本文链接:http://www.bigengculture.com/shoufeilunwen/xixikjs/2729738.html

上一篇:基于社会网络的微信人际情报网络研究  
下一篇:没有了
分享