《数据仓库-数据集市-BI-数据分析-介绍》由会员分享，可在线阅读，更多相关《数据仓库-数据集市-BI-数据分析-介绍（36页珍藏版）》请在金锄头文库上搜索。
1、数据仓库介绍广州市品高软件开发有限公司1议程1. 数据仓库概念及由来 基本概念 产生背景2. 数据仓库搭建 数据整合 数据建模 数据管控3. Oracle数据仓库产品介绍什么是数据仓库广州市品高软件开发有限公司3一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理层决策过程。数据仓库的特点广州市品高软件开发有限公司4面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分 离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户 使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。集成的：面向事务处理的操作
2、型数据库通常与某些特定的应用相关，数据库之间相互独 立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基 础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内 的信息是关于整个企业的一致的全局信息。相对稳定的：操作型数据库中的数据通常实时更新，数据根据需要及时发生变 化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某 个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询 操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化：操作型数据库主要关心当前某一个时间段内的数
3、据，而数据仓 库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时 点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量 分析和预测。几个相关的概念广州市品高软件开发有限公司5BIBusiness Intelligence,即商业智能，一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用数据集市：面向特定主题和部门级的数据仓库，是数据仓库的子集，数据仓库是提供跨部门的，统一数据视图OLAP On-Line Analytical Processing是数据仓库系统的主要应用
4、，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果数据挖掘从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、 数据库、可视化技术等OLTP on-line transaction processing，传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易数据仓库与OLTP系统的差别广州市品高软件开发有限公司6对比项OLTP数据仓库（OLAP）用户操作人员、底层管理人员决策人员，高级管理人 员功能日常操作处理分析决策DB设计面向应用面向主题数据原始数据、细节性数据
5、、当前值数 据、可更新、一次处理的数据量小导出数据、综合性数 据、历史数据、不可更 新但周期性刷新，一次 处理的数据量大工作单位简单的事务复杂的查询用户数上千个上百个DB大小100MB-GB100GB-TB数据仓库是怎么产生的广州市品高软件开发有限公司7在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为企业发展做出了 巨大贡献。各类信息系统大多属于面向事务处理的OLTP系统，经过多年的运行， 积累了大量的数据，而管理决策层对数据分析基础平台的需求却日益强烈。数据可信性：两个部门提供的数据是不一样的，让管理者无所适从 报表的生产率问题：由于OLTP的单项系统导致数据的分散性和相同元素定义
6、不一致所致不可能把数据转换成信息 数据动态集成问题：不同的需求，要求将操作型环境和分析型环境相分离 历史数据问题：单项系统之间保留的历史数据时间范围不一致，无法满足DSS分析的需要数据的综合问题：非细节数据、多种程度的综合 提升现有的信息：数据仓库解决的问题1. 企业范围内的信息共享 2. 准确、一致的集成数据 3. 面向整个企业和最终用户，针对分析需要，进行数据重组，形成一套全新的、相对完整的数据视图，能够进行快速访问，精确、灵活分析 数据仓库之父广州市品高软件开发有限公司9数据仓库之父比尔恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse
7、”（建立数据仓库）一书中所提出的定义被广泛接受主张使用第三范式进行数据仓库建模数据仓库领域另外一名重要的人物广州市品高软件开发有限公司10比尔恩门的对头随着拉尔夫金博尔（Ralph Kimball）博士出版了他的第一本书“The DataWarehouse Toolkit”（数据仓库工具箱），数据仓库行业就开始喧哗起来，恩门的“Building the Data Warehouse”主张建立数据仓库时采用自上而下（DWDM）方式，以第3范式进行数据仓库模型设计，而他生活上的好朋友Ralph Kimball在“The DataWarehouse Toolkit”则是主张自下而上（DMDW）的方式
8、，力推数据集市建设，以致他们的FANS吵闹得差点打了起来，直至恩门推出新的BI架构CIF（Corporation information factory），把Kimball的数据集市包括了进来才算平息。议程1. 数据仓库概念及由来 基本概念 产生背景2. 数据仓库搭建 数据整合 数据建模 数据管控3. Oracle数据仓库产品介绍自上而下1. 进行全企业的数据建模和数据整合，并建立原子级数据仓库；2. 对于各部门的应用再建立相应的数据集市两种数据仓库构建方式自下而上1. 根据特定的业务过程建立数据集市；2. 在各部门数据集市之上递增构建整个企业的数据仓库广州市品高软件开发有限公司13两种数据仓
9、库构建方式对比对比项自上而下自下而上体系结构先建立全企业的原子级数据仓库，然 后在此基础上建立部门级应用按照业务过程建立集市， 再通过整合建立数据仓库复杂度非常复杂较为交单建模工具传统ER模型维度建模易访问性低高交付 时间需要很长的启动时间可以快速部署应用部署成本较高的启动成本，较低的后续项目开 发成本较低的启动成本，每个后 续项目成本接近指导思想长期规划各部门需要有统一的构建 思想结论：一般结合两种方式的优点混合使用数据仓库体系架构广州市品高软件开发有限公司14数据整合-ETL15元数据管理模块数据质量管理模块转换文件数 据 抽 取 插 件ETL监控数据抽取监控数据清洗监控数据转换监控磁盘I
10、O监控网络IO监控CPU监控数据库监控告警处理装载DB2Oralce数 据 加 载 插 件数据中心数据转换数据清洗任务管理作业调度ETL框架采集数据整合-ETL特点广州市品高软件开发有限公司161. 多种数据源支持：支持DB2、ORACLE、MySql、SQLSERVER、文件多种不同数据源的抽取；2. 作业调度可视化配置：使用图形化界面配置调度作业；3. ETL过程监控：对采集、转换、装载过程进行监控，在发生异常时自动记录相关信息。ETL工具特点数据仓库数据建模步骤广州市品高软件开发有限公司17一般按照主题进行建模一般步骤业务 建模领域建模逻辑 建 模物理建 模 梳理组织架构关系 梳理系统用
11、户、角色 梳理业务流程（实际工作流程） 提出业务流程改进方法及措施 抽象业务概念 分组业务概念，按照业务主线聚合类似的分组 理解分组概念之间的关联及关系 具化抽象概念的属性 细化业务流程 针对特定物理平台作出相应的技术调整 针对模型的性能考虑对特定平台作出相应调整数据建模方法18范式建模法： Bill Inmon主张使用，使用关系型数据库第三范式进行ER建模，同业务系统的数据库建模类似维度建模法： Kimball 最先提出这一概念,按照事实表，维表来构建数据仓库，数据集市。并针对各个维作了大量的预处理，这种方法的最被人广泛知晓的名字就是星型模式（Star-schema）,另外还有雪花模型、星座
12、模型、雪暴模型星型雪花两种建模方法比较对比项范式建模维度建模提出人Bill InnonKimball复杂度比较简单，从关系型数据库角度出发 ，比较方便构建建模简单，但由于在构建 星型模式之前需要进行大 量的数据预处理，因此会 导致大量的数据处理工作灵活性较为灵活当业务发生变化，需要重 新进行维度的定义性能慢由于做了大量数据预处理 ，查询性能很快。数据一致性能够较好保证数据一致性只是依靠单纯的维度建模 ，不能保证数据来源的一 致性和准确性结论：一般在数据仓库底层使用范式建模，在数据集市层或多维数据库使用维度建模数据应用-多维分析之切片、切块数据应用-多维分析之钻取按 时 间 维 向 下 钻 取按
13、 时 间 维 向 上 钻 取60数据应用-多维分析之旋转数据应用之即席查询广州市品高软件开发有限公司23基本信息字段工班日期即席查 询导出列编辑输出结 果所属路段构建宽表模型反向分析所属区域OD路径字段异常行驶信息收费站车道收费方式车辆 信息信 息收费信息字段绿色通道字段分账信息字段结算费用字 段通行卡字段计重信息字段标识 路径字 段自由组合条件定义条件关系及值可任意选择宽表字段条件和值之间可以用= in等连接；条件和条件之间可用orand之间连接可编辑结果的显示列用户根据自身需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表数据应用之数据挖掘广州市品高软件开发有限公司24数据挖掘
14、：从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association rule learning）的信息的过程常见数据挖掘方法：1. 关联分析：发现一个事务中不同操作相关性的概率，例如一条开户记录为一个事务，用户号为其标示，申请短信为一个操作，申请呼叫转移为另外一个操作，通过挖掘，发现申请短信的人80%必定申请呼叫转移，申请呼叫转移的人不一定申请短信。在这种情况下，可以推出将呼叫转移打包在短信服务中，可以提高用户的服务质量2. 回归分析：了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量，如话务预测3. 人工统计学分群分析：根据记录中
15、最频繁出现的特征，将相关记录进行分类，如客户分群4. 决策树分析：根据用户的性质和其它消费行为，分析产生某项结果的原因，如可以根据用户的性质、消费状况和缴费情况，分析用户流失的原因。比如，发现消费额度小于30元的用现金缴费的女性，80%可能会流失数据管控广州市品高软件开发有限公司25数据仓库元数据管理数据质量管理 数据安全管理 p 数据管控主要包括元数据管理、数据质量管理、数据安全管理，全面提升数据管控能力元数据管理工具Webservice接口、JMI接口、XMI接口元数 据获 取元数 据存 储元数据管理工具数据源ETL数据 中心数 据 服 务展示视图技术 元数 据业务 元数 据管理 元数 据
16、自动获取手工导入业务元数据业务规则 业务描述 指标口径 技术元数据数据源接口质量规则 算法库 度量信息ETL过程 数据中心管理元数据流程定义 角色定义 组织架构Webservice接口、JMI接口、XMI接口实体差异分析元数据使用情况指标库实体关联度分析主机拓扑图分析元数据统计血缘分析过程查询元数 据工 具功 能p 元数据管理工具可加强数据的管控力度，增强系统自身管理能力，提升系统易用性数据质量关系到系统建设的成败数据质质量问题问题结结果技术类技术类数据创建延迟数据校验规则不当文件传输出错 .信息类信息类元数据描述错误变化频度不恰当计算口径错误 .管理类管理类责任心、责任人反馈渠道培训计划流程类流程类错误的数据维护流程人为调整数据流程数据稽核流程决策是 否正确系统建 设成败系统保障管理措施数据质量管理工具28监控检查报告处理总结数据源数据源ETL 工具轻度汇 总层高度汇 总层外部应用外部应用数 据 服 务 总 线抽取转换装载汇总汇总抽取抽取 监 控 点监控 数据质量规则 元数据规则匹
