《仓库管理_数据仓库与数据中心知识培训》由会员分享，可在线阅读，更多相关《仓库管理_数据仓库与数据中心知识培训（76页珍藏版）》请在金锄头文库上搜索。
1、数据仓库与数据中心 内部知识培训,数据仓库与数据中心概述,OLTP 与 OLAP,多维数据分析模型,数据整合,应用介绍,数据仓库与数据中心概述,数据仓库的起因,数据库方式,数据仓库方式,数据与应用分离，以实现数据高度共享、支持日常业务处理过程为目的（OLTP）,以支持经营管理过程中的决策制定为目的(DSS，OLAP, DM),什么是数据仓库,数据仓库就是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，用于支持经营管理过程中的决策制定。, W.H.Inmon,数据仓库与数据中心概述,数据仓库与数据中心概述,数据仓库的四个特征,数据仓库就是一个面向主题的、集成的、不可更新的、随时间不
2、断变化的数据集合，用于支持经营管理过程中的决策制定。, W.H.Inmon,数据仓库与数据中心概述,特征一 面向主题,主题是用户使用数据仓库进行决策时所关心的重点方面，每一个主题基本对应一个宏观的分析领域。,如： CRM 优质客户的挖掘 潜在大客户的发现 , ERP 合同管理 物资库存的管理 ,面向主题是指数据仓库内的信息是按主题进行组织的，为按主题进行决策的过程提供信息。,传统数据库中的数据是原始、基础数据，而特定分析领域数据则是需要对它们作必要的抽取、加工与总结而形成,数据仓库中的主题有时会因用户主观要求的变化而变化,数据仓库与数据中心概述,特征二 集成,数据仓库中的数据是为分析服务的，而
3、分析需要多种广泛的不同数据源以便进行比较、鉴别，因此数据仓库中的数据必须从多个数据源中获取，这些数据源包括多种类型数据库、文件系统以及Internet网上数据等，它们通过数据集成而形成数据仓库中的数据。,统一 消除不同数据源之间的数据不一致的现象,综合 对原有数据进行综合和计算,数据仓库与数据中心概述,特征三 不可更新,数据仓库中的数据是经过抽取而形成的分析型数据，不具有原始性，主要供企业决策分析之用，执行的主要是查询操作，一般情况下不执行更新操作。同时，一个稳定的数据环境也有利于数据分析操作和决策的制订。,需要更新的情况,进行新的决策时需要抽取和更新新的数据,通过删除丢弃一些过时的数据,数据
4、仓库与数据中心概述,特征四 随时间不断变化,数据仓库中的信息并不只是关于企业当时或某一时点的信息，而是系统记录了企业从过去某一时点到目前的各个阶段的信息，通过这些信息可以对企业的发展历程和未来趋势作出定量分析和预测。,时间属性,数据仓库中的数据通常都带有时间属性,数据统一更新以时间段为单位,什么是数据中心,数据中心是公司一体化信息平台的重要组成部分。,数据仓库与数据中心概述,广义 企业业务应用与数据资源进行集中、集成、共享、分析的场所、工具、流程等的有机组合,狭义 应用层面的数据中心，具体包括数据仓库和建立在数据仓库之上的决策分析应用、数据ETL、ODS数据库、数据仓库、商务智能应用和元数据管
5、理等,数据仓库与数据中心概述,数据中心的定位,数据中心是企业一体化信息平台的基础，它可以为应用系统的整合与数据共享提供有效的解决方案，保障企业数据的一致性、及时性、完整性、安全性、有效性和准确性，提高企业信息系统的统一性，消除企业普遍存在的信息孤岛，解决信息系统沟通不畅的问题。,数据仓库与数据中心概述,数据中心的逻辑架构（广义）,数据仓库与数据中心概述,数据中心的功能单元,数据仓库与数据中心概述,OLTP 与 OLAP,多维数据分析模型,数据整合,应用介绍,也叫事务处理，是指对数据库的日常联机访问操作，通常是对一个或一组记录的查询和修改，主要是为企业特定的应用服务的。也叫联机事务处理（OLTP
6、）。,操作型处理,OLTP : On-Line Transaction Processing,特点,1、通常仅仅是对一个或一组记录的查询或修改,2、执行频率高,3、关心处理的响应时间、数据安全性和完整性等指标,OLTP与OLAP,也叫做信息型处理，主要用于企业管理人员的决策分析，为制订企业的未来经营管理计划提供辅助决策信息。也叫做联机分析处理（OLAP）。,分析型处理,OLAP : On-Line Analytical Processing,特点,1、需要对大量的事务型数据进行统计、归纳和分析,2、需要访问大量的历史数据,3、执行频率和对响应时间的要求都不高,典型的OLAP,决策支持系统 (D
7、SS-Decision Support System),OLTP与OLAP,OLTP与OLAP在应用上的差异,OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如电费交易,OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,OLTP与OLAP,OLTP 环境不适宜 OLAP 应用的原因,在OLTP中直接构建OLAP应用是不合适的，要提高分析处理和决策支持的效率和有效性，必须将OLAP及其所需的综合性数据从传统的OLTP和细节性数据中分离出来，按照DSS的需要重新进行组织，建立单独的分析处理环境。,原因有六条：,1、事务处理和分析
8、处理的性能特性不同,2、数据集成问题,3、数据的动态集成问题,4、历史数据问题,5、数据的综合问题,6、数据的访问问题,OLTP与OLAP,原因一、事务处理和分析处理的性能特性不同,OLTP 每次操作处理的时间短，存取数据量小，但操作频率高，并发程度大。,OLAP 每次分析可能需要连续运行很长的时间，存取数据量大，但很少做这样的分析处理，也没有并发执行的要求。,OLTP与OLAP,原因二、数据集成问题,OLTP 一般只需要与本部门业务有关的当前细节数据，而对整个企业范围内的集成应用考虑很少，这就造成大部分企业内部的数据是分散而非集成的。,造成上述状况的原因,1、事务处理应用的分散性,2、数据不
9、一致问题,3、缺少分析所需的外部及非结构化数据,OLAP 需要集成的数据，包括整个企业内部各部门的相关数据，以及企业外部、竞争对手等处的相关数据。因此用于分析处理的数据可能来自多种不同的数据源,OLTP与OLAP,原因三、数据动态集成问题,对所需数据进行一次集成，以后就不再发生变化，称为静态集成,对集成后的数据进行周期性刷新，称为动态集成,在采用静态集成策略时，如果数据源中的数据发生了变化，那么这些变化就不能反映给决策者，导致决策使用的是过时的数据。因此集成数据必须以一定的周期进行刷新（即采用动态集成策略），但传统的 OLTP 环境并不具备动态集成的能力。,OLTP与OLAP,原因四、历史数据
10、问题,OLTP 一般只需要当前数据，在数据库中一般也只存储短期数据 (3-6个月)，且不同数据的保存期限也不一样,OLAP更看重历史数据 (5-10年)，可以通过对大量历史数据的详细分析来把握企业的发展趋势,历史数据对于事务处理作用不大，但对于决策分析而言，如果没有历史数据的支撑，就变成了“无源之水”、“无本之木”。,OLTP与OLAP,原因五、数据的综合问题,OLTP 需要的是当前的细节性操作数据， OLAP 需要的往往是大量的总结性分析型数据，而非数据库中的细节性操作型数据,OLTP 系统中积累的是大量的细节数据，而 OLAP 并不对这些细节数据进行分析，其原因是,1、细节数据量太大，影响
11、处理效率,2、不利于分析人员将注意力集中于有用的信息上,这就是常说的数据库中“数据丰富、信息贫困”现象。因此，在分析前往往需要对细节数据进行不同程度的综合，传统的事务处理系统不具备这种综合能力，而且在数据库系统中，这种综合还往往因为是一种数据冗余而被限制。,OLTP与OLAP,原因六、数据的访问问题,OLTP 需要提供多种不同类型的数据访问操作，且对于需要修改的数据必须实时更新数据库,OLAP数据的访问操作以读操作为主，且不需要实时的更新操作，只需要定时刷新,OLTP与OLAP,OLAP 与 OLTP 分离的好处,1、提高两个系统的性能,2、提高操作型数据库的事务吞吐量,3、避免两个系统中数据
12、的结构、内容和用法的不同带来的困扰,建立数据仓库的目的并不是要代替传统的事务处理系统（数据库），而是为了适应因市场商业经营行为的改变和精细化管理而进行的DSS的需要。,数据仓库技术正成为企业信息集成和辅助决策应用的关键技术之一,OLTP与OLAP,数据仓库与数据中心概述,OLTP 与 OLAP,多维数据分析模型,数据整合,应用介绍,基本概念 对象（Object）和度量值（Measure）,对象是我们所关心和分析的内容,观察对象又称为度量值,度量值是一组值，而且通常为数字值,度量值的选择取决于最终用户所请求的信息类型。一些常见的度量值有 销售电量 库存量 发生金额 职工人数 线损率 发现缺陷数量
13、,多维数据分析模型,基本概念 维度（Dimension）,维度是我们观察分析对象的角度,例如：我们可以从三个“维度” 来观察“发现缺陷”这个对象 时间维度 缺陷类型 缺陷等级,多维数据分析模型,基本概念 层（Layer）,对分析对象可以在不同的深度层面上进行分析与观察，并可能得到不同的分析结果。因此，层 反映了对分析对象的观察深度,一般而言，层是与维相关联的。在一个维中可允许存在若干个层，并且可以采用多种不同的层次划分方法,日期维 1、日期月份季度年 2、日期周年,多维数据分析模型,基本概念 维度成员（Dimension Member）,维度的一个取值称为该维度的一个“维度成员”,如果一个维度
14、是多层次的，则该维度的“维度成员”可以是 1、在不同维度层次上的取值的组合 2、在某个维度层次上的取值,对一个数据项来说，维度成员是该数据项在某维度中位置的描述。,多维数据分析模型,基本概念 多维数据集（Multi-Dimensional Dataset）,一个多维数据集可以表示为(维1， 维2， , 维n，变量) 变量表示我们观察的数据对象 维1， 维2， , 维n分别表示我们观察的各个角度,如(时间，单位， 缺陷类别，缺陷等级，发现缺陷数量)是一个有关“发现缺陷”的四维数据集，其数据成员可表示为： （2008年，江苏，线路缺陷，类缺陷，300） （2008年1月，南京，设备缺陷， 类缺陷，
15、35）,多维数据分析模型,多维数据分析模型,事实表： 销售表（产品标识符，商店标识符，日期标识符，销售额） 维表1： 产品表（产品标识符，类别，大类别） 维表2： 商店表（商店标识符，市名，省名，国名，洲名） 维表3： 时间表（时间标识符，日期，月份，季度，年份）,多维数据分析模型,数据立方体（Data Cube）,存放数据视图的多维数据模型称为数据立方体,数据立方体可以是物理存在的，也可以是一个逻辑定义,三个维度以上的数据立方体也称为数据超立方体,超过三个维度的信息难以实现全维度的同时展现,多维数据分析模型,多维数据分析,多维数据分析是指对以多维形式组织起来的数据采取切片、切块、旋转、钻取等
16、各种分析动作，以求剖析数据，使最终用户能从多个角度、多个侧面地观察数据，从而深入地了解被包含在数据中的信息、内涵。,切片（Slice）根据某一维上的某个维成员值选择统计数据进行分析,切块（Dice）根据某一维上的某个维成员取值的区间选择统计数据进行分析,旋转 调整维的排列次序的动作称为旋转,钻取 上钻：也称 数据概括（roll up） 下钻：也称 数据细化（drill down）,多维数据分析模型,多维数据分析,数据概括（roll up）将多维下标的取值提升到较高的概念层次上，从而形成新的统计查询结果，并进行分析。,数据细化（drill down）将多维下标的取值降低到较低的概念层次上，从而形成更细致的统计查询结果，并进行分析。,多维数据分析模型,利用切片和切块（slice and dice）功能、逐层细化（drill）功能、维旋转功能等，可以轻松地完成传统方法难以完成的工作,多维数据分析,以“产品、城市、时间”三维数据为例, 切片 对三维数据，通过“切片”和“旋转”
