《数据仓库简介》由会员分享,可在线阅读,更多相关《数据仓库简介(68页珍藏版)》请在金锄头文库上搜索。
1、数据仓库技术数据仓库技术谭义红:谭义红:1587319336915873193369; QQ: 2647724QQ: 2647724 yhtan09 2课程介绍v性质性质是信科专业的主要专业课程、是决策支持系统方向的重是信科专业的主要专业课程、是决策支持系统方向的重要课程要课程v目的目的理解数据仓库及理解数据仓库及OLAP的相关概念的相关概念了解数据仓库及了解数据仓库及OLAP的发展趋势和应用领域的发展趋势和应用领域掌握数据仓库的设计、构建,数据的准备、转换、装载,掌握数据仓库的设计、构建,数据的准备、转换、装载,数据的浏览、分析等方法和技术。数据的浏览、分析等方法和技术。v相关课程相关课程数
2、据库、数据挖掘、决策支持系统设计与开发数据库、数据挖掘、决策支持系统设计与开发3为什么学本课程(Why)v信息技术在商业中发展信息技术在商业中发展管理信息系统(管理信息系统(MIS)企业资源计划系统(企业资源计划系统(ERP)、客户关系管理()、客户关系管理(CRM)商业智能系统(商业智能系统(BI)v发展过程中存在的问题发展过程中存在的问题数据可信性数据可信性生产率问题生产率问题无法将数据转化为信息无法将数据转化为信息4为什么学本课程(Why)vBI定义(定义(IBM):商业智能是一系列由系统和):商业智能是一系列由系统和 技术支持的技术支持的以简化信息收集和分析的策略集合,它应该包括企业需
3、以简化信息收集和分析的策略集合,它应该包括企业需要收集什么信息、谁需要去访问这些数据、如何把原始要收集什么信息、谁需要去访问这些数据、如何把原始数据转化为最终战略性决策的智能、客户服务和供应链数据转化为最终战略性决策的智能、客户服务和供应链管理。管理。包括:数据仓库(包括:数据仓库(DW)、联机分析()、联机分析(OLAP)、)、 数据挖掘(数据挖掘(DM)工具:工具:IBM、Oracle、Microsoft、SAS、CA等等5为什么学本课程(Why)v市场需求(岗位)市场需求(岗位)数据仓库工程师数据仓库工程师岗位要求岗位要求1、岗位要求岗位要求2、岗位要求岗位要求3数据仓库开发工程师数据仓
4、库开发工程师岗位要求岗位要求1数据仓库数据仓库BI架构师架构师岗位要求岗位要求数据仓库高级开发工程师数据仓库高级开发工程师岗位要求岗位要求数据仓库测试工程师数据仓库测试工程师岗位要求岗位要求数据仓库咨询师数据仓库咨询师岗位要求岗位要求6本课程的主要内容(What)v数据仓库与数据仓库与OLAP的相关理论知识的相关理论知识v数据仓库设计数据仓库设计v数据准备、转换、装载(数据准备、转换、装载(SSIS)v多维数据集操作及分析多维数据集操作及分析(SSAS)v多维数据分析报表多维数据分析报表(SSRS)7如何学好本课程(How)v重视相关概念和原理的理解重视相关概念和原理的理解v从全局把握上把握数
5、据仓库创建、管理及从全局把握上把握数据仓库创建、管理及OLAP分析技术框架分析技术框架v从微观角度掌握具体技术细节从微观角度掌握具体技术细节v主动、认真做好实验及课程设计主动、认真做好实验及课程设计8教材:教材:数据仓库设计:现代原理与方法数据仓库设计:现代原理与方法(美)(美)Matteo Golfareli著著91) (美美)JOY MUNDY.数据仓库工具箱数据仓库工具箱-面向面向SQL SERVER 2005和和MICROSOFT商业智能工具集商业智能工具集. 北京:清华大学出版北京:清华大学出版社社,20072)于宗民于宗民,刘义宁刘义宁, 祁国辉祁国辉.数据仓库项目管理实践数据仓库
6、项目管理实践.北京:人北京:人民邮电出版社民邮电出版社2006 朱德利朱德利. SQL Server 2005数据挖掘与商业智能完全解决数据挖掘与商业智能完全解决方案方案.北京:电子工业出版社,北京:电子工业出版社,2007. http:/ http:/ http:/ 数据仓库与OLAP概述v1.1 决策支持系统决策支持系统v1.2数据仓库数据仓库v1.3数据仓库的体系结构数据仓库的体系结构v1.4 数据准备与数据准备与ETLv1.5 多维模型多维模型v1.6 元数据元数据v1.7 访问数据仓库访问数据仓库v1.8 多维数据的存储方式多维数据的存储方式v1.9 小结小结 111.1 决策支持系
7、统v决策支持系统决策支持系统DSS(decision support system)是可扩展交互式是可扩展交互式IT技术和工具的集合,这些技术和工具用于处理和技术和工具的集合,这些技术和工具用于处理和分析数据以及辅助管理人员制定决策。为此,这种分析数据以及辅助管理人员制定决策。为此,这种系统匹配管理人员的个人资源和计算机资源,以提系统匹配管理人员的个人资源和计算机资源,以提高决策质量。高决策质量。121.2 数据仓库v数据仓库的引入数据仓库的引入商品名称商品名称生产厂家生产厂家销售时间销售时间销售地销售地销售员销售员 销售量销售量空调空调美的美的2009.3.122009.3.12北京北京00
8、10012 2空调空调格力格力2009.5.32009.5.3长沙长沙0020023 3空调空调美的美的2009.5.102009.5.10北京北京0010012 2空调空调格力格力2009.6.32009.6.3长沙长沙0020023 3空调空调美的美的2009.7.102009.7.10北京北京0010012 2空调空调格力格力2009.8.32009.8.3长沙长沙0020023 3空调空调美的美的2009.10.102009.10.10北京北京0010012 2空调空调格力格力2009.11.32009.11.3长沙长沙0020023 3电视机电视机TCLTCL2009.10.3200
9、9.10.3长沙长沙0030033 3了解格力空调在长沙的月销售情况了解格力空调在长沙的月销售情况 了解各品牌空调在各城市的月销售情况了解各品牌空调在各城市的月销售情况了解各销售员的月销售情况了解各销售员的月销售情况131.2 数据仓库v数据仓库的引入数据仓库的引入141. 2 数据仓库v数据仓库的引入数据仓库的引入151.2 数据仓库v数据仓库的概念和特点数据仓库的概念和特点概念概念:数据仓库(数据仓库(DataWarehouseDataWarehouse,DWDW)是一个面向主题的、集)是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合,它用成的、不可更新的、随时间不断变化的数
10、据集合,它用于支持企业或组织的决策分析处理。于支持企业或组织的决策分析处理。特点:特点:面向主题面向主题主题是在较高层次上将企业信息系统中的数据综合、主题是在较高层次上将企业信息系统中的数据综合、归类和分析利用的抽象概念。每个主题对应一个分析归类和分析利用的抽象概念。每个主题对应一个分析领域。领域。典型主题:客户、产品、销售、利润、保险等典型主题:客户、产品、销售、利润、保险等每个主题域都是以一组相关的表来具体实现,通过公每个主题域都是以一组相关的表来具体实现,通过公共关键字建立联系共关键字建立联系161.2 数据仓库171.2 数据仓库18l各子系统建立数据库情况各子系统建立数据库情况 子系
11、统子系统数据库名称数据库名称数据字段数据字段销售子系统销售子系统顾客顾客顾顾客客号号,姓姓名名,性性别别,年年龄龄,文文化化程程度度,地地址址,电话电话销售销售员工号,顾客号,商品号,数量,单价,日期员工号,顾客号,商品号,数量,单价,日期采购子系统采购子系统订单订单订单号,供应商号,总金额,日期订单号,供应商号,总金额,日期订单细则订单细则订单号,商品号,类别,单价,数量订单号,商品号,类别,单价,数量供应商供应商供应商号,供应商名,地址,电话供应商号,供应商名,地址,电话库存管理子系库存管理子系统统领料单领料单领料单号,领料人,商品号,数量,日期领料单号,领料人,商品号,数量,日期进料单进
12、料单进料单号,订单号,进料人,收料人,日期进料单号,订单号,进料人,收料人,日期库存库存商品号,库房号,库存量,日期商品号,库房号,库存量,日期库房库房库房号,仓库管理员,地点,库存商品描述库房号,仓库管理员,地点,库存商品描述人事管理子系人事管理子系统统员工员工员工号,姓名,性别,年龄,文化程度,部门号员工号,姓名,性别,年龄,文化程度,部门号部门部门部门号,部门名称,部门主管,电话部门号,部门名称,部门主管,电话1.2 数据仓库19l面向主题的数据组织面向主题的数据组织主题主题信息类信息类数据字段数据字段商品商品商品固有信息商品固有信息商品号商品号, 商品名商品名, 类别类别, 颜色颜色商
13、品采购信息商品采购信息商品号商品号, 供应商号供应商号, 供应价供应价, 供应日期供应日期, 供应量供应量商品销售信息商品销售信息商品号商品号, 顾客号顾客号, 售价售价, 销售日期销售日期, 销售量销售量商品库存信息商品库存信息商品号商品号, 库房号库房号, 库存量库存量, 日期日期供应商供应商供应商固有信息供应商固有信息供应商号供应商号, 供应商名供应商名, 地址地址, 电话电话供应商品信息供应商品信息供应商号供应商号, 商品号商品号, 供应价供应价, 供应日期供应日期, 供应量供应量顾客顾客顾客固有信息顾客固有信息顾顾客客号号, 顾顾客客名名, 性性别别, 年年龄龄, 文文化化程程度度,
14、 住住址址, 电话电话顾客购物信息顾客购物信息顾客号顾客号, 商品号商品号, 售价售价, 购买日期购买日期, 购买量购买量1.2 数据仓库201.2 数据仓库v数据仓库的概念和特点数据仓库的概念和特点(续)(续)特点特点数据的集成性数据的集成性数据仓库中存储的数据是从原来分散在各个子系数据仓库中存储的数据是从原来分散在各个子系统中的数据提取出来的,经过处理后得到的。统中的数据提取出来的,经过处理后得到的。211.2 数据仓库数据的集数据的集成性成性221.2 数据仓库v数据仓库的概念和特点数据仓库的概念和特点(续)(续)特点特点数据不可修改性数据不可修改性数据仓库中的数据是不可更新的,只能通过
15、分析数据仓库中的数据是不可更新的,只能通过分析工具进行查询、分析。工具进行查询、分析。231.2 数据仓库v数据仓库的概念和特点数据仓库的概念和特点(续)(续)特点特点数据与时间相关数据与时间相关 数据随时间变化而定期地被更新数据随时间变化而定期地被更新241.2 数据仓库v数据仓库与传统数据库的比较数据仓库与传统数据库的比较传统数据库(事务性)数据传统数据库(事务性)数据数据仓库(决策支持)数据数据仓库(决策支持)数据面向应用:数据服务于某个特定的面向应用:数据服务于某个特定的商务过程或功能(商务过程或功能(OLTPOLTP)。)。面向主题:数据服务于某个特定的商务主题,例如客面向主题:数据
16、服务于某个特定的商务主题,例如客户信息等。它是非规范化数据(户信息等。它是非规范化数据(OLAPOLAP)。)。细节数据,例如包含了每笔交易的细节数据,例如包含了每笔交易的数据。数据。对源数据进行摘要,或经过复杂的统计计算。例如一对源数据进行摘要,或经过复杂的统计计算。例如一个月中交易收入和支出的总和。个月中交易收入和支出的总和。结构通常不变结构通常不变结构是动态的,可根据需要增减。结构是动态的,可根据需要增减。易变性(数据可改变)易变性(数据可改变)非易变(数据一旦插入就不能改变)。非易变(数据一旦插入就不能改变)。事务驱动事务驱动分析驱动。分析驱动。一般按记录存取,所以每个特定过一般按记录
17、存取,所以每个特定过程只操作少量数据。程只操作少量数据。一般以记录集存取,所以一个过程能处理大批数据,一般以记录集存取,所以一个过程能处理大批数据,例如从过去几年数据中发现趋势。例如从过去几年数据中发现趋势。反映当前情况。反映当前情况。反映历史情况。反映历史情况。通常只作为一个整体管理。通常只作为一个整体管理。可以分区管理。可以分区管理。系统性能至关重要,因为可能有大系统性能至关重要,因为可能有大量用户同时访问。量用户同时访问。对性能要求较低,同时访问的用户较少。对性能要求较低,同时访问的用户较少。1.2数据仓库v数据仓库带来的好处数据仓库带来的好处提供决策支持。提供决策支持。应用于应用于证券
18、证券、银行银行、保险保险、移动通讯移动通讯、商品销售商品销售、其它其它等行业。等行业。25261.3数据仓库体系结构v数据仓库系统的特点数据仓库系统的特点分离性分离性可扩展性可扩展性安全性安全性可管理性可管理性v体系结构分类体系结构分类面向结构的类型面向结构的类型单层体系结构,两层体系结构,三层体系结构单层体系结构,两层体系结构,三层体系结构面向应用层次的类型面向应用层次的类型独立数据集市,星型结构,联盟体系结构独立数据集市,星型结构,联盟体系结构271.3数据仓库体系结构v面向结构的类型面向结构的类型单层体系结构单层体系结构281.3 数据仓库的体系结构数据仓库体系结构示意图数据仓库体系结构
19、示意图两两层层体体系系结结构构291.3数据仓库体系结构v数据流数据流数据源层数据源层关系数据库、或其它系统数据库关系数据库、或其它系统数据库数据准备数据准备提取、转换、加载(提取、转换、加载(ETL)数据仓库层数据仓库层数据仓库、数据集市数据仓库、数据集市分析分析报表、信息分析、报表、信息分析、OLAP、数据挖掘、数据挖掘301.3数据仓库体系结构v层次数据(企业信息源)层次数据(企业信息源)311.3数据仓库体系结构v层次数据(企业信息源)层次数据(企业信息源)321.3数据仓库体系结构v数据集市数据集市(Data MartsData Marts)定义定义为了特定的应用目的或应用范围,而从
20、数据仓库中为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也称部门数据或主题数据。独立出来的一部分数据,也称部门数据或主题数据。如:财务部门的数据集市如:财务部门的数据集市与数据仓库的关系与数据仓库的关系数据仓库是基于整个企业的数据模型建立的,它面数据仓库是基于整个企业的数据模型建立的,它面向企业范围内的主题。而数据集市是按照某一特定向企业范围内的主题。而数据集市是按照某一特定部门的数据模型建立的。部门的数据模型建立的。331.3数据仓库体系结构v数据集市数据集市(Data MartsData Marts)(续)(续)特性特性规模小规模小特定的应用特定的应用面向部门面向部门由
21、业务部门定义,设计和开发由业务部门定义,设计和开发由业务部门管理和维护由业务部门管理和维护快速实现快速实现购买较便宜购买较便宜投资快速回收投资快速回收更详细的、预先存在的数据仓库的摘要子集更详细的、预先存在的数据仓库的摘要子集可升级到完整的数据仓库可升级到完整的数据仓库341.3数据仓库体系结构v数据集市数据集市(Data MartsData Marts)(续)(续)351.4 数据准备和ETLv数据集成数据集成(抽取、(抽取、转换、装转换、装载载-ETL)361.4数据准备和ETLv数据集成数据集成(抽取、(抽取、转换、装转换、装载载-ETL)371.5 多维模型v 多维模型多维模型概念概念
22、是一个数据集合,通常从数据仓库的子集是一个数据集合,通常从数据仓库的子集构造,并组织和汇总成一个由一组维度和构造,并组织和汇总成一个由一组维度和度量值定义的多维结构。度量值定义的多维结构。特性特性多维,也称作立方体(或超立方体)多维,也称作立方体(或超立方体)提供一种便于使用的查询数据的机制。提供一种便于使用的查询数据的机制。381.5 多维模型391.5 多维模型v度量值(度量值(Measure)度量值是一组值,是客户发生事件或动作的事实度量值是一组值,是客户发生事件或动作的事实记录。记录。如:如:客户打电话,记录次数和费用等;客户打电话,记录次数和费用等;超市客户销售,记录销售数量、金额等
23、等。超市客户销售,记录销售数量、金额等等。度量值所在的表称为事实数据表,常规多维数据度量值所在的表称为事实数据表,常规多维数据集的结构中只能有一个事实数据表。集的结构中只能有一个事实数据表。401.5 多维模型v维度(维度(Dimension)维度(也简称为维)是人们观察数据的角度。维度(也简称为维)是人们观察数据的角度。例如,时间维,地区维等。例如,时间维,地区维等。 包含维度信息的表是维度表,维度表包含描述事包含维度信息的表是维度表,维度表包含描述事实数据表中的事实记录的特性。实数据表中的事实记录的特性。描述维度的字段称为维度属性描述维度的字段称为维度属性 411.5 多维模型v维度成员(
24、维度成员(Dimension Member)维的一个取值称为该维的一个维度成员(简称维维的一个取值称为该维的一个维度成员(简称维成员)。成员)。例如,考虑时间维具有日、月、年这例如,考虑时间维具有日、月、年这3个级别,个级别,分别在日、月、年上各取一个值组合起来,就得分别在日、月、年上各取一个值组合起来,就得到了时间维的一个维成员,即到了时间维的一个维成员,即“某年某月某日某年某月某日”。 421.5 多维模型v维度的层次结构维度的层次结构定义定义层次结构是维度中成员的集合以及这些成员之间的相对层次结构是维度中成员的集合以及这些成员之间的相对位置。位置。如,地址维:洲、国家、城市、区、街道、门
25、牌号如,地址维:洲、国家、城市、区、街道、门牌号类型类型均衡层次结构均衡层次结构层次结构的所有分支都降至同一级别,每个成员的逻辑父代就层次结构的所有分支都降至同一级别,每个成员的逻辑父代就是其上级成员。是其上级成员。不均衡层次结构不均衡层次结构层次结构的所有分支都降至不同级别,每个成员的逻辑父代就层次结构的所有分支都降至不同级别,每个成员的逻辑父代就是其上级成员。如是其上级成员。如CEO/部门经理(部门经理(/员工)、执行秘书员工)、执行秘书不规则层次结构不规则层次结构 431.5 多维模型v维的级别(维的级别(Dimension Level)人们观察数据的某个特定角度(即某个维)还可人们观察
26、数据的某个特定角度(即某个维)还可以存在不同的细节程度,我们称这些维度的不同以存在不同的细节程度,我们称这些维度的不同的细节程度为维的级别。的细节程度为维的级别。一个维往往具有多个级别一个维往往具有多个级别.例如描述时间维时(例如描述时间维时(“月、季度、年月、季度、年”为层次结为层次结构),则月、季度、年为构),则月、季度、年为3个级别,可从不同级个级别,可从不同级别来描述。别来描述。441.5 多维模型451.5 多维模型v限制限制限制数据:从立方体分离部分数据来选出分析字限制数据:从立方体分离部分数据来选出分析字段。在关系代数中称为选择、投影段。在关系代数中称为选择、投影切片、切块操作切
27、片、切块操作v聚合聚合将多个子多维数据集合并成更大的多维数据集。将多个子多维数据集合并成更大的多维数据集。461.6 元数据v元数据元数据定义定义描述数据仓库内数据的结构和建立方法的数据,即:描述数据仓库内数据的结构和建立方法的数据,即:定义数据的数据。定义数据的数据。作用作用对对DW中的每个数据进行说明,以及数据间关系,中的每个数据进行说明,以及数据间关系,为决策支持分析提供便利,也为操作型数据向分析为决策支持分析提供便利,也为操作型数据向分析型数据间转换提供支持。型数据间转换提供支持。471.7 访问数据仓库 v 报表报表vOLAPv数据挖掘数据挖掘 481.7 访问数据仓库vOLAP (
28、Online Analytical Processing,OLAP) 1993年,年,E.F.Codd提出提出OLAP定义定义OLAP称联机分析处理,也称在线分析处理。是一种数称联机分析处理,也称在线分析处理。是一种数据动态分析模型,以多维数据集的多维结构表示由来据动态分析模型,以多维数据集的多维结构表示由来自商业数据源(如数据仓库),并经过聚合和组织整自商业数据源(如数据仓库),并经过聚合和组织整理的数据。使分析人员、管理人员或执行人员能够从理的数据。使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并
29、真实反映企业特性的信息进行快速、户所理解的、并真实反映企业特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。一类软件技术。OLAP通过创建多维数据集,并对其进行切片、切块、通过创建多维数据集,并对其进行切片、切块、钻取和旋转等数据操作,并进一步支持决策支持系统。钻取和旋转等数据操作,并进一步支持决策支持系统。 491.7 访问数据仓库v特点特点快速性快速性: 系统应能在秒级内对用户的大部分分析要求系统应能在秒级内对用户的大部分分析要求做出反应。做出反应。 可分析性可分析性: OLAP系统能处理与应用有关的任何逻辑系统能
30、处理与应用有关的任何逻辑分析和统计分析。分析和统计分析。多维性多维性 系统必须提供对数据分析的多维视图和分析,系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。包括对层次维和多重层次维的完全支持。 信息性信息性 OLAP系统应能及时获得并管理海量信息系统应能及时获得并管理海量信息 501.7 访问数据仓库v多维分析方法多维分析方法方法方法上卷上卷下钻下钻切片切片切块切块旋转旋转目的目的从多个角度、多个侧面观察数据库中的数据。从多个角度、多个侧面观察数据库中的数据。 511.7 访问数据仓库v上卷(上卷(Roll-Up)在数据立方体中执行聚集操作,通过在维级别中上在数据
31、立方体中执行聚集操作,通过在维级别中上升来观察更概括的数据。升来观察更概括的数据。 沿着时间维上卷,由“季度”上升到半年 521.7 访问数据仓库v上卷上卷通过消除一个或多个维来观察更加概况的数据。通过消除一个或多个维来观察更加概况的数据。 消除“经济性质”维度 531.7 访问数据仓库v 下钻(下钻(drill-down)通过在维级别中下降或通过引入某个或某些维来更细致通过在维级别中下降或通过引入某个或某些维来更细致的观察数据。的观察数据。 沿时间维下钻 541.7 访问数据仓库v切片(切片(slice)在给定的数据立方体的一个维上进行的选择操作。切片的结在给定的数据立方体的一个维上进行的选
32、择操作。切片的结果是得到了一个二维的平面数据。果是得到了一个二维的平面数据。 “时间1季度” 551.7 访问数据仓库v 切块(切块(dice)在给定的数据立方体的两个或多个维上进行的选择操作。切在给定的数据立方体的两个或多个维上进行的选择操作。切块的结果是得到了一个子立方体。块的结果是得到了一个子立方体。 (度量值“正常” or “次级”)And (时间“1季度” or “2季度”) 561.7 访问数据仓库v转轴(转轴(pivot or rotate)转轴就是改变维的方向。转轴就是改变维的方向。 交换“时间”和“经济性质”轴571.7 访问数据仓库特点特点OLTP(联机事务处理联机事务处理
33、)OLAP(联机分析处理)(联机分析处理)目的目的支持事务处理支持事务处理支持分析决策支持分析决策数据库大小数据库大小数据库通常比较小,数据库通常比较小,数据库通常很大,数据库通常很大,同时访问的同时访问的用户数用户数可以是大量用户可以是大量用户用户数小,决策人员或分析人用户数小,决策人员或分析人员员响应时间响应时间查询都要求迅速响应查询都要求迅速响应对查询时间的要求相对较低对查询时间的要求相对较低数据改变数据改变插入、更新和删除操作插入、更新和删除操作只通过批量导入更新数据只通过批量导入更新数据查询的复杂查询的复杂度度数据高度规范化,通常需数据高度规范化,通常需要进行多表的连接要进行多表的连
34、接数据是非规范化的,因此读数据是非规范化的,因此读取数据时需要的表间连接很少取数据时需要的表间连接很少n OLAP与与OLTP的区别的区别581.7 访问数据仓库vOLAP的好处的好处市场和销售分析市场和销售分析 点击流分析点击流分析 基于历史数据的营销基于历史数据的营销 预算预算 利益率分析利益率分析 591.7 访问数据仓库v数据仓库与数据仓库与OLAP联系联系数据仓库和联机分析处理一般适用于决策支持系统数据仓库和联机分析处理一般适用于决策支持系统或业务智能系统的不同组件。或业务智能系统的不同组件。区别区别数据仓库是一个过程,包含那些通常表示某个企业数据仓库是一个过程,包含那些通常表示某个
35、企业的历史数据和一些应用程序。对数据仓库中的数据的历史数据和一些应用程序。对数据仓库中的数据进行组织是为了支持分析。进行组织是为了支持分析。OLAP 技术使数据仓库能够快速响应重复而复杂的技术使数据仓库能够快速响应重复而复杂的分析查询。分析查询。601.7 访问数据仓库v数据仓库与数据仓库与OLAPOLAP为数据仓库数据提供了一种多维表现方式,为数据仓库数据提供了一种多维表现方式,而数据仓库结构的设计又会影响多维数据集设计和而数据仓库结构的设计又会影响多维数据集设计和建立的难易程度。建立的难易程度。611.7 访问数据仓库关系数据库关系数据库数据文件数据文件其他其他OLTP数据仓库数据仓库数据
36、文数据文件件其其他他OLAP事务处理事务处理数据上传、转换处理数据上传、转换处理分析处理分析处理n关系数据库、关系数据库、OLTP、 数据仓库与数据仓库与OLAP621.8 多维数据的存储方式 vSQL Server 的的Analysis 三种多维数据存储方三种多维数据存储方式式:MOLAP(多维(多维OLAP,Multidimensional OLAP)ROLAP(关系(关系OLAP,Relational OLAP)HOLAP(混合(混合OLAP,Hybrid OLAP) 631.8 多维数据的存储方式vROLAP ROLAP的数据与计算结果直接由原来的关系数据的数据与计算结果直接由原来的关
37、系数据库取得。库取得。ROLAP将支撑多维数据的原始数据、多维数据集将支撑多维数据的原始数据、多维数据集数据、汇总数据和维度数据都存储在现有的关系数数据、汇总数据和维度数据都存储在现有的关系数据库中,并用独立的关系表来存放聚集数据。据库中,并用独立的关系表来存放聚集数据。不存储源数据副本,占用的磁盘空间最少,但存取不存储源数据副本,占用的磁盘空间最少,但存取速度也比较低。速度也比较低。 641.8 多维数据的存储方式vMOLAP MOLAP使用多维数组存储数据,它是一种高性能使用多维数组存储数据,它是一种高性能的多维数据存储格式。的多维数据存储格式。多维数据在存储中将形成多维数据在存储中将形成
38、“立方体立方体”的结构。的结构。MOLAP存储模式将数据与计算结果都存储在立方存储模式将数据与计算结果都存储在立方体结构中,并存储在分析服务器上。体结构中,并存储在分析服务器上。该结构在处理维度时创建。该结构在处理维度时创建。存取速度最快,查询性能最好,但占用磁盘空间较存取速度最快,查询性能最好,但占用磁盘空间较多。多。 651.8 多维数据的存储方式vHOLAP ROLAP与与MOLAP存储方式的结合。存储方式的结合。原始数据和原始数据和ROLAP一样存储在原来的关系数据库一样存储在原来的关系数据库中,而聚合数据则以多维的形式存储分析服务器。中,而聚合数据则以多维的形式存储分析服务器。优点:
39、优点:既能与关系数据库建立连接,同时又利用了多既能与关系数据库建立连接,同时又利用了多维数据库的性能优势。维数据库的性能优势。缺点缺点是在是在ROLAP和和MOLAP系统之间的切换会影响系统之间的切换会影响它的效率。它的效率。 661.8 多维数据的存储方式内容内容MOLAPROLAPHOLAP源数据的副本有无无占用分析服务器存储空间大小小使用多维数据集小较大大数据查询快慢慢聚合数据的查询快慢快使用查询频度经常不经常经常v 三种存储方式的比较作业v从从Internet网搜索至少网搜索至少5个数据仓库系统,个数据仓库系统,并简单介绍其中一个系统的作用和功能。并简单介绍其中一个系统的作用和功能。(
40、要求写出系统名称和网页地址)(要求写出系统名称和网页地址) 6768小结v数据仓库是在企业管理和决策中面向主题的、集数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合,这成的、与时间相关的、不可修改的数据集合,这些也正是其区别于传统操作型数据库的特性所在。些也正是其区别于传统操作型数据库的特性所在。vOLAP又称为多维数据分析,它的多维性、分析又称为多维数据分析,它的多维性、分析性、快速性和信息性成为分析海量历史数据的有性、快速性和信息性成为分析海量历史数据的有力工具力工具。v数据仓库的体系结构:数据库、数据抽取、转换、数据仓库的体系结构:数据库、数据抽取、转换、加载、元数据、访问工具、数据集市、管理平台、加载、元数据、访问工具、数据集市、管理平台、信息发布系统。信息发布系统。