热门搜索: 论文 发表 社科期刊 北大核心 南大核心 cssci 科技期刊 教育

当前位置:主页 > 科技论文 > 软件论文 >

高并发环境下异构数据源数据服务的研究与实现

发布时间:2019-01-11 10:55  文章来源:笔耕文化传播
【摘要】:随着科学技术的发展,社会的进步,越来越多的企业都开通了互联网业务,这也就导致这些企业需要拥有自己的数据存储管理系统。因此这些企业储存了大量的数据结构、数据格式各异的跟自己业务需求相关的异构数据源。大数据的时代随之到来,然而这些海量数据的异构性成为利用这些大数据的一大难题。找寻一种方法来屏蔽这些数据源的异构性是大数据运用的前提。随着互联网用户数的迅速增加,超大用户数的访问量对企业的服务器性能提出了极高的要求。单台服务器无论拥有多高的配置都无法永远满足日益增加的用户访问量,因此基于消息总线的异构数据服务是解决以上两个问题的良好办法。本文提出了一个异构数据源的集成方法,从而解决了异构数据源的数据异构问题。并且本论文还提出一种负载均衡算法帮助合理优化服务器集群的任务分配问题,从而使服务器集群的性能达到最优化,使得企业能够有效地处理大用户量的高并发访问。本文通过提出一种基于中间件的异构数据解析方法,用户针对中间件提供的统一数据类型进行数据查询,中间件将查询语句分解为针对不同数据源的查询语句,并通过封装器获取数据。其中统一数据类型的集成是中间件法的核心问题,因此本文将详细阐述异构数据类型到中间类型,中间类型再到统一数据类型的映射方法。并且本文通过提出一种基于消息总线的负载均衡技术来处理服务器集群任务分配不均的问题,将服务器集群中的所有服务器接入消息总线,每台服务器通过消息总线可以获取其他服务器的负载情况从而进行任务的动态分配。从而良好地解决了高并发的问题。在本论文最后进行了异构数据源集成地仿真,将一个关系型数据源和一个XML数据源进行了集成实现,并且使用ActiveMQ消息中间件实现了消息总线,将四台服务器接入消息总线实现了集群服务器负载均衡地模拟。
[Abstract]:With the development of science and technology and the progress of society, more and more enterprises have opened Internet business, which leads to the need for these enterprises to have their own data storage management system. Therefore, these enterprises store a large number of data structures, data formats are different from their own business requirements related to heterogeneous data sources. Big data's time has come, however, the heterogeneity of these massive data has become a big problem in taking advantage of the big data. To find a way to block the heterogeneity of these data sources is big data's premise. With the rapid increase of the number of Internet users, the number of visitors to the large number of users put forward a very high demand for the performance of the enterprise server. No matter how high the configuration of a single server is, it can not always meet the increasing number of users, so the heterogeneous data service based on message bus is a good way to solve the above two problems. In this paper, an integration method of heterogeneous data sources is proposed to solve the problem of heterogeneous data sources. This paper also proposes a load balancing algorithm to help optimize the task allocation of the server cluster so as to optimize the performance of the server cluster and enable the enterprise to deal with the high concurrent access of large users effectively. In this paper, a method of heterogeneous data parsing based on middleware is proposed. Users query the uniform data types provided by middleware, and the middleware decomposes the query statements into query statements for different data sources. And through the wrapper to obtain data. The integration of uniform data types is the core of the middleware method, so this paper will elaborate the mapping method of heterogeneous data types to intermediate types, intermediate types to unified data types. In this paper, a load balancing technique based on message bus is proposed to deal with the problem of uneven distribution of tasks in the server cluster, and all servers in the server cluster are connected to the message bus. Each server can obtain the load of other servers through the message bus to dynamically distribute the tasks. Thus, the problem of high concurrency is solved well. At the end of this paper, the heterogeneous data source is integrated into simulation, a relational data source and a XML data source are integrated, and the message bus is realized by using ActiveMQ message middleware. The four servers are connected to the message bus to realize the load balance simulation of the cluster server.
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

【参考文献】

相关期刊论文 前10条

1 田丰;王喜艳;曹卫东;王静;曲文丽;;面向高并发服务请求的负载均衡技术研究[J];中国民航大学学报;2015年05期

2 张春红;;基于XML的异构数据库集成技术研究[J];廊坊师范学院学报(自然科学版);2014年04期

3 王亚楠;吴华瑞;黄锋;;高并发Web应用系统的性能优化分析与研究[J];计算机工程与设计;2014年08期

4 张腊;刘淑芬;韩璐;;基于负载均衡的任务调度算法[J];吉林大学学报(理学版);2014年04期

5 李莉;;基于XML的异构数据源查询框架[J];电子技术与软件工程;2014年04期

6 聂玲;刘波;;数据集成中XML Schema到关系模式的转换方法[J];计算机应用;2010年11期

7 张胜;钱柱中;陆桑璐;;一种面向服务的可靠多媒体传输算法[J];软件学报;2010年02期

8 韩丁;沈建京;万芳;张慧;;基于SOA的服务构件封装技术研究[J];计算机工程与设计;2009年07期

9 林昊;;大型网站架构演变和知识体系[J];程序员;2008年11期

10 张广胜;蒋昌俊;汤宪飞;徐岩;;面向服务的企业应用集成系统描述与验证[J];软件学报;2007年12期

相关硕士学位论文 前10条

1 帅文明;基于SOA的企业异构数据集成研究与应用[D];广东工业大学;2014年

2 龙凤;基于XML和中间件的异构数据库集成研究[D];河北联合大学;2014年

3 许承毅;基于SOA异构数据集成中间件的研究与设计[D];重庆大学;2010年

4 严小泉;基于XML的异构数据源集成系统框架和关键技术研究[D];江南大学;2009年

5 陈亮;集群负载均衡关键技术研究[D];中南大学;2009年

6 符双;基于中间件的异构数据源集成系统的设计与实现[D];东华大学;2009年

7 张瑞斌;基于SOA的异构数据源统一检索系统的设计与实现[D];华中师范大学;2008年

8 马伟;一种基于XML的异构数据源集成系统的研究[D];西安电子科技大学;2008年

9 姚崇东;基于XML的多源异构数据集成的实现方法研究[D];哈尔滨工程大学;2007年

10 闵道辉;基于XML的异构数据源集成研究与应用[D];西南石油大学;2006年



本文编号:2407059


论文下载
论文发表
教材专著
专利申请


    下载步骤:1.微信扫码,备注编号 2407059. 2.自助下载


    本文链接:http://www.bigengculture.com/kejilunwen/ruanjiangongchenglunwen/2407059.html