《数据仓库技术知识培训.ppt》由会员分享，可在线阅读，更多相关《数据仓库技术知识培训.ppt（99页珍藏版）》请在金锄头文库上搜索。
1、数据仓库技术介绍,了解你的组织,了解你的客户,了解你的供应商,嵇 晓,内容提要,动机与需求 数据仓库技术 数据仓库在宝钢的实践 结束语,面临的问题,人们在日常生活中经常会遇到这样的情况： 超市的经营者希望将经常被同时购买的商品放在一起，以增加销售； 保险公司想知道购买保险的客户一般具有哪些特征； 医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助； ,企业面临的问题,经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据, 它是企业生产经营活动的真实记录 由于缺乏集中存储和管理，这些数据不能为本企业加以利用, 不能进行有效的
2、统计、分析及评估，无法将这些数据转换成企业有用的信息,数据爆炸问题,自动的数据收集工具和成熟的数据库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中 。 我们会淹死在数据中, 但却为信息、知识所饿!,面临的挑战,如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？ 如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？ 如何预先发现和避免企业运作过程中不易察觉的商业风险？,宝钢整体产销信息管理系统,L4,宝钢计算机系统的架构,宝钢的现状及需求,宝钢拥有许多传统的OLTP（联机事务处理）系统，担负着许多重要的日常事物处理工作，在宝钢的生产经营活动中扮演着重要角色。 经过多年的计算
3、机应用，宝钢积累了大量丰富翔实的原始生产实绩数据和各种业务数据，它反映了企业生产经营过程中规律性的信息和知识，由于缺乏集中存储和管理，对如何充分有效地利用这些数据，却一直没有很好的解决方法，不能利用它们进行有效的统计、分析及评估，无法将这些数据转换成企业真正有用的信息。,宝钢追求的目标,宝钢作为中国的特大型钢铁企业，它的主要建设目标是在激烈的国际国内市场竞争中立于不败之地，并且要加强管理、优化资源，追求效益最大化。这就要求使其生产和经营过程共同达到优化，例如，能够快速准确地提供报价、确定交货期、以及确保产品质量等，并且制定有正确的企业发展战略，以适应市场需求的变化，能做出及时反应。,宝钢股份的
4、质量方针,“重用户、重改进、重效率、重价值，为社会提供世界一流的产品和服务。” - 宝钢股份质量方针 随着市场竞争的加剧和用户要求的提高，从大量数据中挖掘规律性知识，制定正确的生产策略和市场策略，显得越来越重要。,市场需求是技术发展的源动力,数据仓库的出现和发展是数据库和OLTP技术发展、数据库应用深化的产物； 目的是把数据库中的大量数据转化为有用信息，为企业更好地进行决策服务。,内容提要,动机与需求 数据仓库技术 数据仓库在宝钢的实践 结束语,在早期，业务人员考虑如何实现自动化 ,计算机发展史,在数据库应用的早期，计算机系统所处理的是从无到有 的问题，是传统手工业务自动化的问题。例如银行的储
5、蓄系统、 电信的计费系统，它们都属于典型的联机事务处理系统。,手工业务自动化,很快就建立了许多应用系统，在当时，一个企业可以简单地通过拥有联机事务处理的计算机系统而获得强大的市场竞争力。,联机事务系统的建立,联机事务系统的建立（续）,当时单位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此，联机事务处理系统只涉及当前数据，系统积累下的历史业务数据往往被转储到脱机的环境中。 在计算机系统应用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个80年代直到90年代初数据库应用的主流。,在数据仓库以前大都
6、是事物处理 系统(OLTP)的天下（1965 -1990）,这个现状持续了 25 年，它主要实现 - 数据的收集 - 数据的存储 - 数据的在线存取,联机事务系统的功能,但是在OLTP系统中存在着若干问题 - 数据不是综合的 - 没有历史数据 - 没有汇总数据,联机事务系统的问题,Q1 Q2,Q3,Q1 Q2 Q3 Q4,管理者想要了解公司的情况,数据集成问题,有多少品种?,缺乏数据集成不是一个唯一 的问题,- 历史数据的缺乏是另一个 应用问题,历史数据问题,另一个问题是汇总 .,汇总问题,- 贯穿公司的数据集成? - 公司的历史数据? - 详细数据及汇总数据?,获取信息的重要因素,应用在不断
7、地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。,决策的需要,决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。,联机分析处理,“我们花了20多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。” -著名的数据仓库专家Ralph Kimball,市场需求是技术发展的
8、源动力,早期应用系统,PC 电子表格,归档文件,OLTP系统,数据仓库,获得信息,如何获得信息,第一，所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心信息查询的方便与快捷；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全；,获得有用的信息并非想象的那么容易(1),第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设；,获得有用的信息并非想象的那么容易(2),第三，业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。,获得有用的信息并非想象的那么容易
9、(3),针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。,数据仓库的通俗解释,数据仓库是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。,数据仓库的通俗定义,以辩证的眼光来看，数据仓库的兴起实际上是数据管理的一种回归，是螺旋式的上升。今天的数据库就好比当年的层次数据库和网型数据库，它们面向事务处理；今天的数据仓库就好比是当年的关系数据库，它针对联机分析。所不同的是，今天的
10、数据仓库不必再为联机事务处理的特性而奔忙，由于技术的专业化，它可更专心于联机分析领域的发展和探索。,数据库与数据仓库的辩证关系,传统的事务处理环境不适宜于决策支持应用 事务处理和分析处理的性能特性不同 数据集成问题 数据动态集成问题 历史数据问题 数据的综合问题 操作型环境和分析型环境的分离,从数据库到数据仓库,操作型数据 & 分析型数据的区别,业务系统,DSS（决策支持系统）,现在,1990,数据仓库概念的诞生,数据仓库的定义,数据仓库是面向主题的、综合的、不同时间的、稳定的时间集合，主要用于支持经营管理中的决策制定过程 数据仓库之父-Bill Inmon,数据仓库的四个基本特征,数据仓库的
11、数据是面向主题的 数据仓库的数据是集成的 数据仓库的数据是不可更新的 数据仓库的数据是随时间不断变化的,数据仓库的体系结构,OLAP,数据的抽取（1）,数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等方面。,数据的抽取（2）,数据仓库中的数据并不要求与联机事务处理系统保持实时同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。,存储和管理,数据仓库的真正关键是数据的存储
12、和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。 要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。,信息探索,信息探索实际上相当于数据仓库的门面，其性能主要集中在多维分析、数理统计和数据挖掘方面。 多维分析又是数据仓库的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基于Web前端联机分析界面，而不仅仅是在网上发布数据。,数据仓库的组成,集成和转换,1,2,3,4,1、通过不干净的遗留系统；2、不合适的集成； 3、数据仓库的过期； 4、用户需求的改变。,如何避免脏数据进入,如果数据质量
13、不能被信任，则数据仓库将失去价值，数据管理是一个循环往复的过程，包括四个基本功能： 定义 量度标准 报告 改善,数据质量管理,ODS 用于集成相关应用系统并且为决策支持 系统提供数据基础,操作数据存储（ODS）,扩展数据到近线存储器，可以极大地降低数据仓库 环境的成本，并且可以将存储能力扩展到无限大,近线存储器,借助探索仓库 - - 可以极大的降低探索的成本 - 极大地提高探索速度 - 探索的能力呈指数级增长,探索仓库,什么是企业数据仓库 ?,企业数据仓库是一个环境, 通过有效的信息来满足和促进企业的决策制定过程。,企业数据仓库的另一种定义,它是一种可信的企业数据库平台, 这些数据来自于各种各
14、样的数据源,并且在经过抽取、清洗和转换后根据用户的查询适时地提供给用户。,- 综合数据 - 分粒度的数据 - 历史数据 - 共享的数据 - 决策的基础 - 大的存储量,企业数据仓库,- 分粒度的数据 - 公司的公共数据 - 长期历史数据 - 决策的基础 - 大的存储量 - 轻度索引 - 允许以多种方式浏览数据,数据集市,数据集市与数据仓库有根本性的区别,数据集市与数据仓库,采用正确的方法论,评估: 为数据仓库项目确定企业的业务缺陷；,需求收集：启动项目，搜集业务需求并且定义系统检验标准；,设计： 分析和设计数据仓库系统体系结构，确认检验测试标准；,构造： 开发、检验测试、移交数据仓库及应用系统
15、；,部署： 投入到生产环境中并且在企业范围内保证知识转移及用户存取的便利；,回顾： 回顾项目开发过程，评估部署过程及对业务的影响。,SAS快速数据仓库方法,快速数据仓库方法的重点,必须得到企业高层领导的支持和帮助； 不依赖于技术，而是一个业务过程； 以业务为中心，并且由业务驱动，业务用户全程参与； 按照约定好的规则实施； 以迭代式方法实现，全局考虑，局部实施(Think big, Start small)；,快速数据仓库方法的重点（续）,采用快速应用开发方法 (RAD)； 允许柔性和动态收集需求； 首先寻求第一个快速成功的数据集市； 借助优良的项目管理方法帮助；,企业数据仓库的前景和目标 数据
16、仓库成功的因素 (如果可能算出 ROI) 业务过程和业务驱动 IT 的基础架构 (当前和未来) 用户需求分析（数据需求、信息需求、报表和分析需求、探索需求以及信息供给需求）,企业关键的评估项目,数据仓库规模和增长性 宏观的企业数据仓库的物理和逻辑模型 主题区域和实施优先级 具体实施方案 任务和责任 首先实施的主题以及它的项目计划,企业关键的评估项目（续）,设计阶段: 维数据模型,维数据模型（逻辑） 提供更详细的数据视图（逻辑） 包括一个实体列表 多维 事实 / 测量值 描述实体之间的关系 提供每一个实体的属性列表 包括维数据模型的图形表示 业务用户更容易理解 能够很好地匹配目标模型,物理仓库数据模型可以利用 范式模型 汇总表 预先合并的视图和表 星型模式 雪花模式 星型-雪花模式 多维数据模型(MDDBs) 非结构化的数据/文档 上述各种模型的混合使用,设计阶段: 物理模型,汇总表,视图,非结构化数据,企业数据仓库 范式化的E-R模型 雪花及星型-雪花模式 汇总表 预先合并的视图 部门数据仓库/
