《{管理信息化数据仓}第二章数据仓库的概念与体系结构09)2》由会员分享，可在线阅读，更多相关《{管理信息化数据仓}第二章数据仓库的概念与体系结构09)2（20页珍藏版）》请在金锄头文库上搜索。
1、第2章 数据仓库的概念与体系结构,历史数据的几种处理方式: 1) 简单删除 2）备份后删除 3）建立数据仓库,2020/8/1,数据仓库与数据挖掘,2.1 数据仓库的概念、特点与组成,数据仓库的概念 数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持（DDS）,2020/8/1,数据仓库与数据挖掘,2.1 数据仓库的概念、特点与组成,数据仓库的特点： 面向主题； 集成的； 相对稳定的； 反映历史变化。,2020/8/1,数据仓库与数据挖掘,
2、2.1 数据仓库的概念、特点与组成,数据仓库的组成： 数据仓库数据库（核心部分）（特点：支持海量数据和快速检索）； 数据抽取工具（提取、转换、整理），数据转换的内容通常有：1)删除没意义的数据；2）转换到统一的数据名称和定义；3）计算统计和衍生数据；4）填补缺失数据等； 元数据：技术元数据与业务元数据； 技术元数据：数据仓库的涉及和管理人员用于开发和管理数据仓库时使用的元数据，包括：数据转换的描述、数据清洗和数据更新时用的规则等等。 业务元数据: 从单位业务的角度描述数据仓库，如业务主题的描述，即业务主体包含的数据、查询及报表等。,2020/8/1,数据仓库与数据挖掘,2.1 数据仓库的概念、
3、特点与组成,数据仓库的组成： - 访问工具：如分析、报表、数据挖掘工具 数据集市（Data Marts）：为特定的应用目的，从数据仓库中独立出来的一部分数据，也称部门数据或主题数据。 数据仓库管理：包括安全与权限的管理、数据更新的跟踪、元数据的管理与更新、数据的复制于删除等等。 信息发布系统：将数据发送给不同的地点或用户。,2020/8/1,数据仓库与数据挖掘,2.2 数据挖掘的概念与方法,数据挖掘的概念 数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识
4、发现(Knowledge Discovery in Database, KDD),2020/8/1,数据仓库与数据挖掘,2.2 数据挖掘的概念与方法,数据挖掘的方法： 直接数据挖掘 间接数据挖掘。,2020/8/1,数据仓库与数据挖掘,2.2 数据挖掘的概念与方法,数据仓库与数据挖掘的关系 若将数据仓库（Data Warehouse）比作矿井，那么数据挖掘（Data Mining）就是深入矿井采矿的工作 数据挖掘是从数据仓库中找出有用信息的一种过程与技术,2020/8/1,数据仓库与数据挖掘,2.3 数据仓库的技术、方法与产品,联机事务处理（OLTP）与联机分析处理（OLAP）的比较；见表1.
5、1 OLAP技术的有关概念 ：多维数据集、维度、度量值和多维分析（切片、切块、钻取、旋转等）； OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP（混合，低层关系型，高层多维型） OLAP工具：对特定问题的联机数据访问与分析，一般是前端工具。,2020/8/1,数据仓库与数据挖掘,2.3 数据仓库的技术、方法与产品,数据仓库实施中的三个关键环节 数据抽取； 数据存储与管理：大量数据管理，并行处理，支持查询的优化，支持多维分析的查询模式 数据表现 :工具主要集中在多维分析、数据挖掘、统计分析。,2020/8/1,数据仓库与数据挖掘,2.3 数据仓库的技术、方法与产品,数据
6、仓库实施方法论 数据仓库不是简单的数据或产品堆砌，它是一个综合集成解决方案和系统工程。在数据仓库的实施过程中，技术决策至关重要，技术选择或决策错误很可能导致项目实施失败,2020/8/1,数据仓库与数据挖掘,2.3 数据仓库的技术、方法与产品,常用数据仓库产品比较 常用OLAP工具介绍 ； 各数据仓库厂商提供的解决方案 IBM、Oracle、NCR、Microsoft、SAS等,2020/8/1,数据仓库与数据挖掘,2.4 数据仓库系统的体系结构,数据仓库系统的体系结构的分类 （1）两层架构（Generic Two-Level Architecture）。 （2）独立型数据集市（Indepen
7、dent Data Mart）。 （3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。 （4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。,2020/8/1,数据仓库与数据挖掘,2.4 数据仓库系统的体系结构,两层数据仓库体系结构,2020/8/1,数据仓库与数据挖掘,2.4 数据仓库系统的体系结构,基于独立数据集市的数据仓库体系结构,2020/8/1,数据仓库与数据挖掘,2.4 数据仓库系统的体系结构,基于依赖型数据集市和操作型数
8、据存储(ODS)的数据仓库体系结构,2020/8/1,数据仓库与数据挖掘,2.4 数据仓库系统的体系结构,逻辑型数据集市和实时数据仓库的体系结构,2020/8/1,数据仓库与数据挖掘,2.5 数据仓库的产生、发展与未来,数据仓库的产生 联机事务处理系统（业务系统）刚上线时，查询不到数据是因为数据太少了，而几十年后查询不到有关数据是因为数据太多了。针对这一问题，人们设想专门为业务数据的统计分析建立一个数据中心，它的数据从联机事务处理系统中来、从异构的外部数据源来、或从脱机的历史业务数据中来，这个数据中心也是一个联机系统，它专门为分析统计和决策支持应用服务，通过它可获取决策支持和联机分析应用所需要
9、的一切数据。这个数据中心就叫做数据仓库。简单地说，数据仓库就是一个作为决策支持和联机分析应用系统数据源的结构化数据环境，数据仓库要研究和解决的问题就是从数据库中获取信息的问题。,2020/8/1,数据仓库与数据挖掘,2.5 数据仓库的产生、发展与未来,数据仓库的发展 以报表为主 以分析为主 以预测模型为主 以营运导向为主 以实时数据仓库、自动决策应用为主,2020/8/1,数据仓库与数据挖掘,2.5 数据仓库的产生、发展与未来,数据仓库的未来 在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。 在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，带有决策支持扩展的并行关系数据库将最具发展潜力。 在数据表现方面，数理统计的算法和功能将普遍集成到联机分析产品中，并与Internet/Web技术紧密结合。按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部分。数据仓库实现过程的方法论将更加普及，将成为数据库设计的一个明确分支，成为管理信息系统设计的必备,2020/8/1,数据仓库与数据挖掘,
