《基于分布式实时数据库的事务调度策略研究与改进》由会员分享，可在线阅读，更多相关《基于分布式实时数据库的事务调度策略研究与改进（51页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学 硕士学位论文 基于分布式实时数据库的事务调度策略研究与改进 姓名：段炼 申请学位级别：硕士 专业：通信与信息系统 指导教师：殷蔚华 2011-01 华 中 科 技 大 学 硕 士 学 位 论 文 I 摘 要 随着 I T 技术的快速发展，加快了传统行业的信息化进程，其中安全监控智能化 是一个重要方面。在监控系统中由于需要实时处理海量数据并及时反馈，传统的集 中式数据库已经无法应对，因此采用分布式的实时数据库进行处理已成为必然趋势。 但是如何将子事务合理的分配到各并行节点上，以实现并行执行的高性能是调度算 法需要解决的问题。但在实际应用中，全局事务分解得到的各子事务可能并不完全 相
2、同，有的子事务涉及的操作比较多，相对比较复杂，而有的则相对简单。正是由 于各子事务大小不均而导致各处理节点的忙闲程度不同，负载不均。正是基于这种 情况，提出一种逐层调度，并且同层内对局部事务再次分解以实现负载平衡的调度 方法，通过该方法实现了各节点负载均衡化，充分利用了各节点性能，避免各子事 处理时相互过多等待，达到降低处理全局事务的总耗时的目的。 改进的调度策略首先针对分布式环境下全局事务的结构，对全局事务进行分层 处理，并根据前驱事务结束执行时间、传递损耗以及节点最早可以开始执行时间等 三个因素安排各子事务的优先级。之后按子事务涉及操作的数据的物理地址分配到 合适的节点上。若此时同层各节点
3、负载不均衡时就采取负载平衡处理。具体是从节 点中查找到负载过大的节点，将分配到该节点的局部事务进行分解处理，从中选取 大小合适的子事务调度到其他空闲节点并行执行。通过分解调度并行处理的方法缓 解了节点的负载，提高了系统处理复杂子事务的性能。在实际调度处理过程中也采 取了表调度和事务复制的调度技术，进一步提高了系统并行处理性能和响应速度。 最后通过实验验证该改进策略处理海量、复杂全局事务的性能提升。 关键词： 分布式实时数据库；表调度；事务复制；逐层调度；负载均衡 华 中 科 技 大 学 硕 士 学 位 论 文 II Abstract With the rapid development of
4、IT technology, the developing process of the traditional industry speed up rapidly. Intelligent security monitoring is one important aspect of it. Because of the need for collecting massive real- time data and historical data which have been gradually evolving into hierarchy and distribution, and de
5、aling with them within the limited time, distributed real- time database used to replace traditional centralized relational database has become an inevitable trend. But how to assign the sub- transactions which are decomposed by transaction to each parallel processing node, to ensure the integrity,
6、synchronization and security for transaction executing are the questions which must to be solved. In fact, many sub- transactions are not the same sizes which content the different operations. So the sub- transaction which contents a lot of operations in the busy node is hard to schedule to other id
7、le nodes to make system load- balance. The paper bases on the heterogeneous distributed real- time system and the sub- transaction can be further decomposed, to make each node in the system load balance and reduce the total time- consuming of transaction processing. In each layer of the system, the
8、priority of sub- transaction is determined by the end time of precursors, transmission losses and the earliest time the node can execute. Then system schedules the transaction to the appropriate node. If nodes do not load balance, the system replicates the sub- transactions which are decomposed by t
9、he local transaction scheduled from master host to the other idle nodes. Because the local transaction can be decomposed, so the result of the load- balancing schedule will be more perfect. The distributed real- time database will perform well to handle the complex parallel applications. Finally, ex
10、periment verifies the improvement strategies dealing with complex transactions in performance. Keyword: distributed real- time database, list schedule, transaction duplicate, load- balance , schedule by layer 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我 所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研
11、究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本 声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关 部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。 本论文属于 保密?，在 年解密后适用本授权书。 不保密?。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月
12、日 日期： 年 月 日 华 中 科 技 大 学 硕 士 学 位 论 文 1 1 引 言 1.1 选题背景以及意义 随着 I T 技术的不断演进，带动了诸如电力、石油、石化、交通、物流等传统行 业的信息化，如电力行业在 2 0 0 8 年用于信息化建设的总投资就超过 1 2 8 . 4 0 亿元 1 。 特别是国家近年来出台的一系列发展指导方针，进一步加快了发展的步伐。在这些 行业信息化过程中，系统的安全监控智能化是及其重要的方面 2 3 。通过系统智能处 理各种突发安全问题，以达到减轻人工作业的强度的目的。而通过监视系统各部分 的运行情况，实时对当前系统状态进行评估，快速定位可能发生故障的原因
13、并及时 进行处理的预防性的安全管理措施已经成为提高系统可靠性、避免大规模安全事故 的有效手段。这部分工作正是由监控预警系统完成的。 监控预警系统工作机制是通过搜集各监控节点的实时数据，实时对其进行风险 评估，根据评估结果，或交由调度员进行人工干预，或者转由系统进行自动处理。 而由于系统对数据处理和反馈需要在规定的时间内获得处理结果，同时系统本身的 架构也随着技术发展逐渐复杂化，监控节点的增多引起了需要评估的数据量成几何 倍数增长，传统的集中式数据库系统从性能上已经无法胜任要求。基于这样的应用 背景，采用分布式的实时数据库取代传统集中式数据库已成为发展趋势。 在监控预警系统中各监控节点在本地采集
14、的实时数据分散存放在各实时数据库 中，通过这种数据分布化存储的手段降低了系统对硬件性能的要求。同时分布式数 据库还具有灵活的扩展性能，可随时根据需求灵活增删节点，这种优势也是传统集 中式不具备的。最重要的是分布式实时数据库强调实时性，按照事务的优先级顺序 依次处理，并尽量确保事务在规定截止期内完成，保证了系统对紧急事件的快速处 理能力。 分布式系统中，由于数据的物理位置是分散的，一个事务在执行过程中可能涉 及多个节点上的数据，因而事务需要分解为若干子事务，分布在各相关节点上执行， 这是与传统集中式事务处理最大的不同。为此如何将这些子事务合理的分配到各个 并行处理节点上，同时保证事务执行的完整性
15、，并发性、安全性是需要解决的问题。 这种合理分配的机制就是调度策略，良好的调度能够提升系统的并发处理能力，提 高系统吞吐量，均衡利用系统中每一个分布式节点的处理能力，避免有的节点负载 华 中 科 技 大 学 硕 士 学 位 论 文 2 过重，而其他节点负载过轻甚至空闲的可能性，使得总的执行时间得到缩减。因此 如何设计对事务的调度策略就是研究分布式实时数据库应用需要解决的关键点。 虽然现在已有大量的基于分布式环境的调度策略的研究，但是这些理论研究都 是研究如何将分解的各子事务高效、省时的调度到合理的节点上，以及如何将该子 事务调度到合适的节点上保证系统各节点的负载均衡。但是实际应用中，由于各子
16、事务包含的操作数不同而导致分解的各个子事务大小并不均等，从而造成有的节点 因为需要频繁处理较为复杂的子事务而导致忙碌，有的节点因为处理的子事务操作 较为简单而存在较多的空闲时间。但是从负载平衡处理角度上来看由于忙碌节点中 运行的子事务粒度较大，对其从整体上进行调度达不到使各节点负载均衡化的目的。 基于以上原因，为了实现分布式环境下各处理节点均衡化处理，保证分布式事 务的一致性，提高分布式实时数据库的执行性能和效率，进而提高监控预警系统处 理海量数据的性能，需要我们对分布式事务的调度进行研究，提出一套可靠可行的 调度策略。 1.2 当前研究现状 对于调度研究环境主要经历了三个阶段：单节点单 C P U ( 单核心) 的传统集中式调 度、 单节点多 C P U (
