《《实时主动数据仓库的设计与实现》-公开DOC·毕业论文》由会员分享，可在线阅读，更多相关《《实时主动数据仓库的设计与实现》-公开DOC·毕业论文（49页珍藏版）》请在金锄头文库上搜索。
1、实时主动数据仓库的设计和实现 毕业论文 题题 目 实时主动数据仓库原型系统的设计与实现目 实时主动数据仓库原型系统的设计与实现 摘要摘要 随着市场经济步伐的加快和竞争的日趋激烈 传统的数据仓库技术已不能很好 地满足企业发展和竞争的需要 传统数据仓库仅为企业高层决策者提供战略决策 strategic decision 服务于宏观决策和长远规划 却不能实时地根据变化数据产生信息 进而支持 企业日常管理所需的结构化战术决策行为 于是产生了实时主动数据仓库 real time active data warehouse RTADW 本文构建了一个实时主动数据仓库原型系统 支持实时变化数据捕捉 保证了实
2、时数据 的一致性和完整性 同时提供对了实时事件进行主动分析和处理的能力 整个原型系统主要由两个模块组成 实时变化数据捕捉模块和主动决策模块 实时数 据捕捉模块利用数据库在线日志技术 在 streams 技术上搭建起变化数据实时捕捉框架 能 够实时捕捉数据源的数据变化 并将变化信息传播至目标数据端 由目标数据端对其进行处 理 主动决策模块采用触发器机制捕捉实时事件 触发分析规则的执行 并利用消息中间件 技术反馈分析结果 为相关部门人员提供决策支持 此原型系统实现实时主动数据仓库的两个关键技术 实时数据捕捉与主动事件分析 我们可以在此基础上结合传统数据仓库部分 构建起一个完善的实时主动数据仓库 实
3、时主动数据仓库的设计和实现 a 关键词关键词 实时主动数据仓库 变化数据捕捉 主动决策 实时主动数据仓库的设计和实现 b Abstract With the acceleration of the market economy and increasingly fierce competition the traditional data warehouse can no longer satisfy the needs of enterprise development and competition traditional data warehouse only senior corpor
4、ate decision makers to provide strategic decision making strategic decision to serve the macro decision making and long term planning but not in real time change data generated according to the information and then needed to support enterprise management of structured daily tactical decision making
5、behavior and generate real time active data warehouse This paper develops a framework for real time active data warehouse prototype system to support real time data updates ensuring real time data consistency and integrity while providing real time proactive incident analysis and processing capabili
6、ties The prototype system consists of two modules Real time change data capture module and proactive decision making module Real time data capture module using database line logging technology changes in the streams of data capture technology built from the framework that can capture real time data
7、source data changes and changes in the information dissemination to the target data side by side on its target data processing Active decision making module to capture real time event trigger mechanism trigger the implementation of rules and using messaging middleware technology feedback results for
8、 the relevant departments provide decision support This framework real time active data warehousing system two key technologies real time data capture and analysis of active events we can improve on this basis some of the traditional data warehouse and build a complete real time active data warehous
9、ing Key words real time data warehouse change date capture active decision 实时主动数据仓库的设计和实现 目录 第一章 引言 1 1 1 论文的研究背景与意义 1 1 1 1 传统数据仓库的概念 体系结构和局限性 1 1 1 2 实时主动数据仓库的必要性 3 1 2 论文研究目标 4 1 3 论文结构 4 第二章 实时主动数据仓库相关研究 5 2 1 实时主动数据仓库概述 5 2 1 1 实时主动数据仓库的概念 5 2 1 2 主动实时数据仓库的体系架构 6 2 1 3 主动实时数据仓库与传统数据仓库的比较 8 2 2
10、变化数据捕捉 8 2 3 主动决策 11 第三章 实时主动数据仓库原型系统的总体设计 12 3 1 系统架构 12 3 2 设计思想 13 3 2 1 实时变化数据捕捉模块的设计思想 13 3 2 2 主动决策模块设计思想 15 3 3 应用场景 15 第四章 数据仓库数据模型设计 16 4 1 数据模型设计 16 4 2 TPC H 基准测试概述 17 第五章 实时变化数据捕捉模块的设计与实现 20 5 1 实时变化数据捕捉模块概述 20 5 2 基于日志捕获技术的变化数据捕捉的设计 20 5 2 1 总体描述 20 5 2 2 基于日志的变化数据捕获进程设计 21 5 2 3 数据传播进程
11、设计 23 5 2 4 目标数据端的数据集成设计 23 5 3 变化数据捕捉模块的实现 24 5 3 1 Oracle streams 技术简介 24 5 3 2 配置实现变化数据捕捉 25 5 4 测试数据模块实现效果 29 第六章 主动决策模块的设计与实现 31 6 1 主动决策模块概述 31 实时主动数据仓库的设计和实现 i 6 2 主动决策模块设计 32 6 2 1 分析规则的设计 32 6 2 2 信息反馈机制的设计 34 6 2 3 主动决策模块流程 35 6 3 主动决策模块的实现 35 6 3 1 工具 IBM MQ 简介 36 6 3 2 消息反馈机制的实现 36 6 3 3
12、 分析规则的实现 39 6 3 3 1 加载 SendMsg class 39 6 3 3 2 编写存储过程发布 SendMsg class 39 6 3 3 3 建立触发器调用存储过程 sendMsg 40 6 3 3 4 修改触发器属性 40 6 4 主动决策效果演示 40 总结 42 致谢 43 参考文献 44 实时主动数据仓库的设计和实现 0 第一章 引言 数据仓库技术起源于对大量数据进行处理的需要 是随着业务应用的需要产生的 与传 统数据库技术相比 数据仓库为决策分析提供了更好的支持 并跳出了传统联机事务处理的 范畴 随着信息技术的发展 数据仓库技术得到了广泛应用 并且产生了巨大的经
13、济效益 传 统数据仓库系统中 通过对历史数据的聚合及分析 可以为企业提供如明年将采用何种营销 策略等战略型决策支持 但是随着客户需求的不断发展 企业越来越希望数据仓库在支持战 略决策的同时 也能够为市场一线人员提供实时的战术决策 tactical decision 服务 如 实时营销 个性化服务等 这种既服务于战略决策又服务于战术决策的数据仓库即称之为实 时主动数据仓库 real time active data warehouse RTADW 本章论述了传统数据仓库的概念 体系结构及其局限性 进而说明实时主动数据仓库出 现的必要性及其应用 最后给出了论文研究的目标与论文架构 1 1 论文的研
14、究背景与意义 首先介绍论文研究背景下的传统数据仓库概念 体系结构 并且引出实时主动数据仓库 出现的必要性 1 1 1 传统数据仓库的概念 体系结构和局限性 计算机网络与数据库技术的迅速发展和广泛应用 使得企业管理进入一个崭新的时代 广大基层管理人员摆脱了繁重的制表业务和数据处理工作 管理工作进一步规范化 企业建 立了各种在线事务处理信息系统 对各种日常业务处理提供了有效的支持 然而 面对当今 竞争日趋激烈与瞬息万变的市场 各级管理人员迫切需要根据企业的现状和历史数据作出判 断的决策 因此 各级管理人员希望能够从企业信息系统中获取有效的 一致的决策支持信 息 及时准确的把握市场变化的脉搏 做出正
15、确有效地判断和抉择 也就是说 数据处理的 重点应该从传统的业务处理扩展到在线分析处理 并从中得到面向各种主题的统计信息和决 策支持信息 实时主动数据仓库的设计和实现 1 数据仓库技术就是针对上述问题而产生的一种技术解决方案 它是基于大规模数据库的 决策支持系统环境的核心 根据数据仓库之父 Bill Inmon 在 1991 年出版的 Building the Data Warehouse 一书中所提出的定义 数据仓库是一个面向主题的 集成的 永久的且随 时间不断变化的数据集合 用于支持管理层的决策 数据仓库是在数据库基础上发展而来的 传统数据仓库通常包含三个部分内容 数据仓库 联机分析处理 O
16、n Line Analvtica1 Process OLAP 数据挖掘 Data Mining 传统数据仓库体系结构如图 1 1 所示 图图 1 11 1 数据仓库体系结构数据仓库体系结构 数据仓库建立之后 首先要从 数据源 中抽取相关的数据到 数据准备区 在 数据准 备区 中经过净化处理后 再加载到 数据仓库 最后根据用户的需求将数据导入 数据集市 或 知识挖掘库 中 用户在使用数据仓库时 主要利用两类应用工具 一类是联机分析处理 OLAP 主要用于分析历史发展变化 另一类是数据挖掘 Date Mining 主要用于 预测未来趋势走向 但是 随着市场经济步伐的加快和竞争的日趋激烈 传统的数据仓库技术已不能很好地 满足企业发展和竞争的需要 传统数据仓库仅为企业高层决策者提供战略决策 strategic decision 服务于宏观决策和长远规划 如市场细分 产品管理等 并且返回很难测量的 指标 用户数也只是中等规模的用户数 只能得到高度限制的报表 使用预处理的聚合表或 数据集市 然而 企业越来越希望数据仓库在支持战略决策的同时 也能够为市场一线人员 提供实时的战术决策 tactical
