数据库仓库和BI企业级技术精编版

《数据库仓库和BI企业级技术精编版》由会员分享，可在线阅读，更多相关《数据库仓库和BI企业级技术精编版（112页珍藏版）》请在金锄头文库上搜索。

1、为什么选择数据仓库,随着信息化建设的不断推进，产生了大量的数据。必须合理科学的应用这些数据，为业务决策提供强有力的数据支持。简单的报表应用已经无法满足需求，因此需要使用更强大数据仓库及其相关应用。 平台作为财政数据平台有着标准化的存储结构和全面多样的业务数据，可以作为财政数据仓库的可靠数据来源。,数据仓库,数据仓库、商业智能(BI)的概念 数据仓库、商业智能(BI)的体系结构 主流数据仓库产品对比分析 实例介绍,数据仓库概念,历史 数据仓库概念始于上世纪80年代中期，首次出现是在被誉为“数据仓库之父”William H . Inmon的建立数据仓库一书中。 定义 数据仓库是在管理和决策中面向主

2、题的、集成的、随时间变化的、相对稳定的数据集合 按技术划分 抽取、存储与管理、数据的表现 决策支持系统(DSS, Decision Support System) 准确、安全、可靠地取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。,商业智能的概念（BI）,商业智能的核心内容是从业务处理系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL 过程，整合到一个企业级的数据仓库里，从而得到企业信息的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具等对数据仓库里的

3、数据进行分析和处理，形成信息，甚至进一步把信息提炼出辅助决策的知识，最后把知识呈现给管理者，为管理者的决策过程提供支持。,商业智能的概念（BI）,传统的决策模式,商业智能环境下的决策流程,数据仓库与商业智能关系,数据仓库是商业智能的基础。 数据仓库 数据仓库从概念上更多地侧重在对各类信息的整合工作，包括了数据的迁移，数据的组织和存储，数据的管理与维护这些我们平常称之为后台的基础性的数据准备工作。 商业智能 商业智能则侧重在数据查询和报告、多维/联机数据分析、数据挖掘和数据可视化工具这些平常称之为所谓前台的数据应用方面，其中数据挖掘是商业智能中比较高层次的一种应用。,数据仓库,数据仓库、商业智能

4、(BI)的概念 数据仓库、商业智能(BI)的体系结构 主流数据仓库产品对比分析 实例介绍,数据仓库、商业智能的体系结构,数据源 ETL 数据仓库 数据集市 元数据 OLAP,1.数据源,平台数据库 外部数据（格式：txt、excel、dbf等文件格式） 其它数据库,2、ETL,E : Extract 从源数据抽取数据 T : Transform 把抽取的数据进行转换 L : Load 把转换好的数据装载到数据仓库中。,3、数据仓库,数据仓库的一个目的就是把企业的信息访问基础从一种非结构化的改变成一种结构化、发展中的环境改变成规划良好的环境。 业务处理系统是面向应用来设计的，更准确地说是面向交易

5、来设计。而数据仓库一般来说是按主题(Subject)来建模, 是面向查询主题的。,3.数据仓库,数据仓库的关键特征 星型模式 粒度 分割,3.数据仓库-关键特征,面向主题的（subject-oriented） 集成的（integrated） 时变的（time-variant） 非易失的（nonvolatile） 数据仓库是一种语义上一致的数据存 储，它充当决策支持数据模型的物理实现，并存放业务决策所需信息。数据仓库通过将异种数据源中的数据集成在一起而构造，支持结构化的和专门的查询、分析报告和决策。,3.数据仓库-星型模式,3.数据仓库-星型模式,3.数据仓库-粒度,粒度是对数据仓库中的数据的汇

6、总程度高低的一个度量，（按省级汇总或按市级汇总就是不同的粒度）它既影响数据仓库中的数据量的多少，也影响数据仓库所能回答询问信息的种类。在数据仓库中，多维粒度是必不可少的。由于数据仓库的主要作用是多维分析，因而绝大多数查询都基于一定程度的汇总数据之上的，只有极少数查询涉及到细节。,分割,分割，目的在于提高效率。它是将数据分散到各自的物理单元中去, 以便能分别独立处理，以实现查询操作的并行。有许多数据分割的标准可供参考:如时间、地域、业务领域等等,也可以是其组合。一般而言,分割标准总应包括一些能让它十分自然而且分割均匀的项目，例如时间项。,4、数据集市,数据集市分两种，独立的数据集市（Indepe

7、ndent Data Mart）和从属的数据集市（Dependent Data Mart）。,两种数据集市对比,财政领域应用在平台实施的基础上以从属数据集市为主。,5.元数据(Meta-data),定义: “关于数据的数据”，是描述和管理数据仓库自身内容对象、用来表示数据项的意义及其在系统各组成部件之间的关系的数据。数据仓库的元数据包括： （1）数据资源：包括各个数据源的模型，描述源数据表字段属性及业务含义，源数据到数据仓库的映射关系； （2）数据组织：数据仓库、数据集市表的结构、属性及业务含义，多维结构等； （3）数据应用：查询与报表输出格式描述、OLAP、数据挖掘等的数据模型的信息展现、商

8、业术语； （4）数据管理：这里包括数据仓库过程以及数据仓库操作结果的模型，包括描述数据抽取和清洗规则、数据加载控制、临时表结构、用途和使用情况、数据汇总控制。,5.元数据类型,业务元数据 用业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性，直接供最终用户使用。业务元数据使最终用户能够更好理解、使用数据仓库，成为最终用户在数据仓库中的业务信息地图。 技术元数据 技术元数据描述了源系统、数据转换、抽取过程、工作流、加载策略以及目标数据库的定义等。用来进行影响分析、变化管理、数据库优化、任务调度和安全管理等。 操作元数据 操作元数据描述了目标表中的信息，如粒度、创建目标表和索引的信息、

9、刷新时间、记录数、按时执行任务的设置以及有权访问数据的用户。操作元数据用于数据仓库的维护和分布。,多维分析OLAP,OLAP (On-Line analytical Processing) 在线分析处理 切片和切块(Slice and Dice) 钻取(Drill) 旋转(Rotate),6 、OLAP分析,是一类软件技术 分析人员能从多个角度获得对数据的更深入了解 特点：快速、一致、交互 多维视图分析数据的工具 根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快访问到所要的汇总数字，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在用户面

10、前。,切片和切块(Slice and Dice),切片 取二维数据，称为切片。 切块 取三维数据，称为切块。,切片和切块(Slice and Dice),钻取(Drill),钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)操作， 钻取的深度与维所划分的层次相对应。,旋转(Rotate),数据仓库,数据仓库、商业智能(BI)的概念 数据仓库、商业智能(BI)的体系结构 主流数据仓库产品对比分析 实例介绍,主流数据仓库产品对比分析,1.数据仓库产品介绍 2.产品支撑技术,主要数据仓库产品供应商介绍,Oracle IBM Microsoft SAS Teradata Sybas

11、e Business Objects(SAP),Oracle 介绍,Oracle公司的数据仓库解决方案包含了数据库平台、开发工具和应用系统，能够提供一系列的数据仓库工具集和服务，具有多用户数据仓库管理能力，多种分区方式，与OLAP工具的交互能力，及数据移动机制等特性。Oracle的优势在于大多数业务系统采用oracle数据库。,IBM 介绍,IBM公司的数据仓库产品称为DB2 Data Warehouse Edition，它结合了DB2数据服务器的长处和IBM的商业智能基础设施，集成了用于仓库管理、数据转换、数据挖掘以及OLAP分析和报告的核心组件，提供了一套基于可视数据仓库的商业智能解决方案

12、。IBM的优势在于解决方案比较完善。,Microsoft 介绍,微软的SQL Server提供了三大服务和一个工具来实现数据仓库系统的整合，为用户提供了可用于构建典型和创新的分析应用程序所需的各种特性、工具和功能，可以实现建模、ETL、建立查询分析或图表、定制KPI、建立报表和构造数据挖掘应用及发布等功能。微软的优势在于简单易用。,SAS,SAS公司的数据仓库解决方案是一个由30多个专用模块构成的架构体系，适应于对企业级的数据进行重新整合，支持多维、快速查询，提供服务于OLAP操作和决策支持的数据采集、管理、处理和展现功能。SAS优势在于数据挖掘和统计分析。,Teradata,Teradata

13、公司提出了可扩展数据仓库基本架构，包括数据装载、数据管理和信息访问几个部分，是高端数据仓库市场最有力竞争者，主要运行在基于Unix操作系统平台的NCR硬件设备上,在银行领域应用广泛。,Sybase 介绍,Sybase提供了称为Warehouse Studio的一整套覆盖整个数据仓库建立周期的产品包，包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。,Business Objects（SAP） 介绍,Business Objects是BI工具，集查询、报表和OLAP技术为一身的智能决策支持系统，具有较好的查询和报表功能，提供多维分析技术，支持多种数据库，同时它

14、还支持基于Web浏览器的查询、报表和分析决策。被SAP收购后，目前还没有完整数据仓库解决方案。,主流数据仓库产品对比分析,数据仓库产品介绍 支撑技术,数据仓库技术,1、数据库技术 2、ETL技术 3、OLAP技术 4、报表技术 5、数据挖掘技术,数据库技术,数据库技术是支撑数据仓库技术的基础技术。尽管在数据仓库技术存储模型方面，基于数据库技术而发展的关系模式的理念已经被颠覆，取而代之是各种各样的数据仓库数据模型，如星型模型，雪花模型等。然而，在已有的数据仓库实践中，关系数据库仍然是实质的数据库存储工具，只是将数据库表改称为了事实表和维表，将属性域之间的关系重新定义为维度，量度，层次，粒度等。,

15、数据仓库后台数据库比较,ETL技术,数据仓库系统是集成的、与时间相关的数据集合，ETL作为数据仓库的核心，负责将分布的、异构数据源中的数据进行抽取、清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。要实现数据仓库中数据的自动更新运转，ETL技术是必不可少的关键技术之一。,OLAP技术,联机分析处理(OLAP)是针对特定问题的联机数据访问和分析，通过对信息进行快速、稳定、一致和交互式的存取，对数据进行多层次、多阶段的分析处理，以获得高度归纳的分

16、析结果。联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，由此出现了多维数据库和多维分析的概念。,报表技术,报表技术主要是将集成在数据模型里的数据，按照复杂的格式、指定行列统计项，计算形成的特殊表格。一般的简单报表可以使用通用的前台展现技术实现，而复杂的报表则需要使用特定的报表技术。主流的报表技术都可以灵活的制定各种报表模版库和指标库，并根据每个区块或单元格的需要引用指标，实现一系列复杂的符合要求的报表的自动生成。,数据挖掘技术,当数据积累到一定数量时，某些潜在联系、分类、推导结果和待发现价值隐藏在其中，可以使用数据发掘工具帮助发现这些有价值的数据。数据挖掘就是从海量数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。通过数据挖掘能找出数据库中隐藏的信息，实现用模型来拟合数据、探索型数据分析，数据驱动型的发现，演绎型学习等功