《白沙集团长沙卷烟厂数据仓库数据分析系统分析设计与开发优秀论文》由会员分享，可在线阅读，更多相关《白沙集团长沙卷烟厂数据仓库数据分析系统分析设计与开发优秀论文（42页珍藏版）》请在金锄头文库上搜索。
1、白沙集团长沙卷烟厂数据仓库 数据分析系统分析、设计与开发-优秀论文 提 要 数据仓库(Data Warehouse)是一个面向主题的、集成的随时间变化的非易失性数据的集合,基于数据仓库之上的数据分析应用是以已积累的运营数据及外部市场数据为数据基础,有效地实现企业各类信息的综合利用和共享,实现及时准确的财务分析、运营分析、客户分析、市场分析、知识积累与查询等等,为企业的管理、决策提供及时可靠的参考信息依据。 随着企业信息化水平的不断提高,企业获取信息的手段和渠道也在不断增加,越来越多的企业开始利用数据仓库/数据分析这一数据管理和利用的综合性技术方案为决策服务,以取得企业竞争优势。本文基于白沙集团
2、长沙卷烟厂数据仓库系统的分析、设计以及具体应用实施,对企业实施数据仓库应用有一定的参考价值。 本文共分三个部分,第一部分(第一章)介绍数据仓库的基本理论与应用现状;第二部分(第二章至第三章)阐述了基于原有业务系统的数据仓库/数据分析系统的规划与设计,并分析了该数据仓库/数据分析系统具体应实现的需求;第三部分(第四章至第六章)以数据仓库/数据分析系统中的两个模块为例,论述了数据仓库/数据分析系统的具体实现步骤与方法。1目 录第一章 数据仓库理论概述1 1.1数据仓库的涵义与基本特性 1 1.1.1数据仓库的涵义. 1 1.1.2数据仓库的特性. 1 1.面向主题:1 2.集成性: 2 3.不可更
3、新性:. 2 4.随时间变化性: 2 1.1.3数据仓库中的重要概念. 2 1.维(Dimension). 2 2.数据立方体(Cube) 2 3.聚集(Aggregate). 2 1.2数据仓库系统的总体结构. 3 1.3数据仓库的设计与建造方法(建模)3 1.3.1数据仓库系统的设计与建造的一般方法:3 1.3.2.数据仓库应用建模 4 1.4数据仓库关键技术. 4 1.数据管理技术. 4 2.数据存储技术. 4 3.数据仓库接口技术4 1.5数据仓库的三个工具层4 1.报表4 2.联机分析处理(OLAP). 5 3.数据挖掘DM 5 1.6目前市场上的主流数据仓库解决方案及评析5 2.1
4、 项目的市场背景. 9 2.2本系统的定位及系统规划. 9 2.2.1原系统概述 9 2.2.2本系统定位 912.2.3本系统规划. 10 2.3系统体系结构.11 2.3.1系统硬件体系结构. 11 2.3.2系统软件体系结构. 11 1.软件逻辑结构:.11 2.软件技术结构12 2.4系统功能分析. 13 2.4.1系统功能划分 13 2.4.2主题分析应用的功能 14 第三章 需求分析. 16 3.1数据仓库系统的开发特点16 3.2 进行数据仓库需求分析的方法16 3.3长沙卷烟厂数据仓库/数据分析系统需求. 17 3.3.1系统主题划分 17 1.财务分析. 18 2.同行业对比
5、分析. 18 3.销售分析. 18 4.市场分析. 19 5.设备状况分析19 6.质量状况分析19 7.原烟采购分析19 8.辅料采购分析20 9.制造分析. 20 10.库存分析20 11.备件管理分析 21 12.生产综合分析 21 3.3.2确定各主题数据的分析维度、分析指标. 21 3.3.3 系统运行环境需求 23 1.数据管理能力要求 23 2.设备需求: 24 3.支持软件. 24 第四章 数据仓库系统建模. 25 4.1 数据仓库建模概述. 25 4.2数据仓库的概念模型设计2524.3数据仓库的逻辑模型设计27 4.3.1分析主题域. 27 4.3.2粒度层次划分 27 4
6、.3.3关系模式定义 27 4.3.3.1维度表设计 29 4.3.3.2 基本数据表设计 30 4.3.3.3 事实表设计35 4.4数据仓库的物理模型设计36 第五章 数据仓库/数据分析系统的实施 39 5.1基本处理流程. 39 5.2 数据仓库系统与其他系统的接口设计40 1.外部接口设计40 2.内部接口设计41 5.3数据仓库的数据抽取转换41 5.3.1固定资产状况分析 42 1.数据抽取转换流程 42 2.数据抽取转换具体步骤. 44 5.3.2应付帐款分析 47 1.数据抽取转换流程 47 2.数据抽取转换步骤 47 5.3.3 资金项目分析 50 1.数据抽取转换流程 50
7、 2.数据抽取转换具体步骤. 51 5.3.4 同行业分析 52 1.数据抽取转换流程 52 2.数据抽取转换具体步骤. 53 5.4多维数据加载. 54 5.4.1多维数据库与关系型数据库的区别 54 5.4.2 多维数据库与数据仓库. 55 5.4.3 IBM OLAP SERVER. 55 5.4.4 利用 IBM OIS 建立多维数据分析模型56 5.4.4.1固定资产分析56 5.4.4.2应付帐款分析58 5.4.4.3资金项目分析6035.4.4.4同行业分析 61 第六章 数据仓库/数据分析系统的测试、运行与评价 64 6.1 系统测试64 1.单元测试. 64 2.系统集成测
8、试64 3.交付测试. 64 6.2 系统运行与管理64 6.2.1系统运行?进行多维分析 64 1.多维的切片 65 2.多维的切块 65 3.旋转 65 4.钻取 65 6.2.2 系统运行管理69 1.数据仓库系统运行情况记录69 2.数据仓库的日常维护69 3.数据仓库系统的适应性维护70 6.3系统的用户培训及支持 70 1.用户的培训 70 2.对数据仓库用户的支持. 70 6.4系统的评价71 6.4.1数据仓库/数据分析系统的技术评价71 6.4.2数据仓库/数据分析系统的经济评价71 6.5系统的增强72 1.扩充外部数据源. 72 2.数据仓库应用范围的扩大 72 3.数据
9、仓库整体性能的调整 72 4.数据仓库重新规划 72 第七章 全文总结. 73 图表目录 74 参考文献 76 致 谢 79 摘 要 804ABSTRACT 835 第一章 数据仓库理论概述 1.1数据仓库的涵义与基本特性 1.1.1数据仓库的涵义 传统的数据库系统是以单一的数据资源,即数据库为中心,进行事务处理、批处理、决策分析等各种数据处理工作,主要的划分为两大类:操作型处理和分析型处理或信息型处理。 操作型处理也叫事务处理,是指对数据库联机的日常操作,通常是对一个或一组纪录的查询和修改,主要为企业的特定应用服务的,注重响应时间,数据的安全性和完整性;分析型处理则用于管理人员的决策分析,经
10、常要访问大量的历史数据。 当联机事务处理系统应用到一定阶段后,用户便发现单靠拥有联机事务处理已经不足以获得市场竞争的优势,而将大量的业务数据应用于分析和统计并非如想象的那么容易,这主要表现在以下几点: ? 所有联机事务处理强调的是密集的数据更新处理性能和系统的可靠性,并不关心数据查询的方便与快捷。联机分析和事务处理对系统的要求不同,同一个数据库在理论上都难以做到两全。 ? 业务数据往往存放于分散的异构环境中,不易统一查询访问,而且还有大量的历史数据处于脱机状态,形同虚设。 ? 业务数据的模式针对事务处理系统而设计,数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和查询。 针对这些问
11、题,人们设想专门为业务的统计分析建立一个数据中心,它的数据可以从联机的事务处理系统获得、从异构的外部数据源获得、或从脱机的历史业务数据获得。这个数据中心是一个联机的系统,它是专门为分析统计和决策支持应用服务的,通过它可以满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。 数据仓库之父 W.H.INMON将数据仓库定义为:一个面向主题的、集成的随时间变化的非易失性数据的集合,用于支持管理层的决策。 如果说传统联机事务处理强调的是更新数据库-向数据库中添加信息,那么联机分析处理就是从数据库中获取信息、利用信息。因此,著名的数据仓库专家 Ralph Kimball写道:我们花了二十
12、多年的时间将数据放入数据库,如今是该将它们拿出来的时候了。 1.1.2数据仓库的特性 1.面向主题: 所谓主题,是指在较高层次上将企业信息系统中的数据综合、归类并进行抽象。而数1据仓库正是从企业的全局出发,面向主题进行组织的。其主要目的是进行数据分析处理,为管理层提供决策支持。 2.集成性: 在数据仓库的所有特性中,集成性是最重要的特性。由于数据仓库中的数据不是面向应用的,所以并不在意细节数据,而是从原有数据中抽取出来的,经过统一综合以后再进入数据仓库。因此,进入数据仓库中的数据,统一了数据源中的矛盾之处,如不一致的字段长度、同名异义、异名同义、数据缺失等。 3.不可更新性: 数据一旦装入数据
13、仓库,基本不会发生变化。其中的数据主要供企业决策分析之用,主要涉及的操作是数据的查询,一般不涉及到数据的修改操作。 4.随时间变化性: 数据仓库的数据不可更新是针对应用来说的,用户对数据仓库进行分析处理时并不进行数据更新操作。但对数据仓库而言,由于它要为企业提供决策支持,当然要保证当前的数据是最新、最有价值的。所以数据仓库要不断从操作型数据源中提取变化了的数据。因此,时间是数据仓库中数据必备的属性。 1.1.3数据仓库中的重要概念 1.维(Dimension) 数据仓库是用于支持决策的。管理人员在进行决策分析时,经常需要选择一个对决策活动有重要影响的因素进行决策分析。例如管理人员可以从客户、产
14、品、时间等角度出发,对数据进行分析,这些角度就构成了数据仓库的维,数据仓库中的数据也是按照这些维来组织的。数据仓库的维度一般具有层次性,用户在使用数据仓库时可以利用维做为操作路径,按照维度层次对数据进行从概括到细节的分析。 2.数据立方体(Cube) 当用户观察对某一事物进行观察 时,围绕这一事物往往会有多个观察角度,即多个维度,维度的交叉点,就构成了数据仓库的立方体,即用户需要观察的数据的集合。例如对卷烟的销量可以从客户、时间、 品牌等角度进行分析。立方体作为基本事务的聚合,是一种适合用 SQL或其他接口进行查询的完整数据结构。 3.聚集(Aggregate) 聚集是指收集了基本数据的结构。
15、管理者在进行决策分析的过程中,并不一定要观察所有详细数据,而是根据自己管理的范围进行总体情况的了解,例如一个地区的销售经理,最关心的是本地区的销量,那就需要按本地区客户、品牌等进行概括,也就是进行聚集。通过聚集,形成基于维的有决策分析意义的数据交集。21.2数据仓库系统的总体结构 数据仓库是今年 IT技术和信息管理迅速发展的结果。从数据仓库的概念结构看,应该包括数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。创建数据仓库时,首先要从数据源中抽取所需要的数据到数据准备区,在数据准备区经过数据的净化处理再加载到数据仓库数据库中,最后根据用户需求将数据发布到数据集市、数据挖掘数据库中。当用户使用数据仓库时,可以通过 OLAP等数据仓
