数据仓库和数据挖掘

《数据仓库和数据挖掘》由会员分享，可在线阅读，更多相关《数据仓库和数据挖掘（35页珍藏版）》请在金锄头文库上搜索。

1、数据仓库和数据挖掘DATA WAREHOUSING DATA WAREHOUSING AND AND DATA MININGDATA MINING经济科学室验室经济科学室验室经济科学室验室经济科学室验室主要内容数据仓库简介 数据挖掘简介ORACLE 数据仓库和数据挖掘解决方案 什么是数据仓库什么是数据仓库 ?数据仓库（Data WarehouseData Warehouse）是一个面向主题的（Subject OrientedSubject Oriented）、集成的（IntegrateIntegrate）、相对稳定的（Non-Non-VolatileVolatile）、反映历史变化（Time

2、Time VariantVariant）的数据集合，用于支持管理决策。 数据仓库与数据库的区别数据仓库与数据库的区别 数据仓库数据仓库 数据库数据库 面向分析型数据处理面向分析型数据处理 面向事务型数据处理面向事务型数据处理 对多个异构的数据源的对多个异构的数据源的有效集成有效集成 数据库之间相互独立且数据库之间相互独立且异构异构 数据相对稳定数据相对稳定 数据实时更新数据实时更新 反映历史变化反映历史变化 通常关心当前数据通常关心当前数据 数据仓库的体系结构 什么是数据挖掘什么是数据挖掘 ? 数据挖掘是一个数据挖掘是一个利用各种分析方利用各种分析方法和分析工具在法和分析工具在大规模海量数据大

3、规模海量数据中建立模型和发中建立模型和发现数据间关系的现数据间关系的过程，这些模型过程，这些模型和关系可以用来和关系可以用来做出决策和预测。做出决策和预测。 顾客数据到处都是，谁才是我的顾客？销售信息销售信息市场信息市场信息订单目录订单目录市场数据库市场数据库库存信息库存信息客服信息客服信息数据挖掘能做些什么？数据特征化和数据区分 关联分析 分类和预测 聚类分析 孤立点分析 演变分析 数据挖掘的常用方法数据挖掘的常用方法 决策树 相关规则 神经元网络 遗传算法 可视化 OLAP联机分析处理 统计方法 ORACLE 数据仓库和数据挖掘 解决方案 Data WarehousingETLOLAPDa

4、ta MiningMetadataOracle 提供的数据仓库工具提供的数据仓库工具 及其功能介绍及其功能介绍 OracleOracle数据库数据库数据库数据库 SQL *LoaderSQL *Loader工具工具Oracle Warehouse Builder (OWB) Oracle9i 数据库数据库一个对象关系型一个对象关系型数据仓库，用于数据仓库，用于存储大量的数据。存储大量的数据。 SQL *Loader工具工具用于将数据装载到数据仓库中。这些数据包括Oracle数据库中的数据，其他数据管理系统中的数据和外部数据。开发人员可以利用这两种工具将多种数据源融合在一个单一的存储系统中，并加

5、以管理，从而为最终用户提供对这多种数据源的无缝访问。 Oracle Warehouse Builder OWBOWB是是Oracle Developer Suits Oracle Developer Suits 中的一个组件，中的一个组件，是用于设计、实现、和管理企业数据仓库和数是用于设计、实现、和管理企业数据仓库和数据集市的集成系统据集市的集成系统。 通过向导驱动的用户界面来进行数据映射、元通过向导驱动的用户界面来进行数据映射、元数据导入，利用预定义的转换库，能够减少设数据导入，利用预定义的转换库，能够减少设计和实施时间。计和实施时间。自动生成代码，并且通过校验程序保证编码的自动生成代码，并

6、且通过校验程序保证编码的正确性和唯一性，按照部署的要求生成不同的正确性和唯一性，按照部署的要求生成不同的编码类型。编码类型。Oracle Warehouse Builder提供可视化的直观映射和转换工具、对多维数提供可视化的直观映射和转换工具、对多维数据的拖放功能，以及一个用于管理仓库的系统据的拖放功能，以及一个用于管理仓库的系统外门户解决方案，降低设计和开发数据仓库和外门户解决方案，降低设计和开发数据仓库和数据中心的复杂度。数据中心的复杂度。OWBOWB为事实表和维度表提供向导和图形编辑器。为事实表和维度表提供向导和图形编辑器。OWBOWB全面应用全面应用Oracle9i Oracle9i

7、的分区、索引和总结管的分区、索引和总结管理等特性，与数据库的紧密集成允许理等特性，与数据库的紧密集成允许Oracle9i Oracle9i 作为一种转换引擎使用，排除了增加转换服务作为一种转换引擎使用，排除了增加转换服务器的需求。器的需求。Oracle Warehouse Builder利用利用OWBOWB组件组件文件集成器，实现从文本文文件集成器，实现从文本文件中提取数据。件中提取数据。 OWBOWB包括一个全局共享库（包括一个全局共享库（Global Shared LibraryGlobal Shared Library) )，用于存储可重复使用的转换。用于存储可重复使用的转换。 OWBO

8、WB软件还包括软件还包括Oracle Pure Integrate Oracle Pure Integrate 和和OWB OWB Integrator for SAP R/3, Integrator for SAP R/3, 前者是将数据客户集成以前者是将数据客户集成以形成战略性电子商务项目基础的软件，后者是形成战略性电子商务项目基础的软件，后者是对对SAPSAP特有的特有的ERPERP数据进行强有力报表制作和分数据进行强有力报表制作和分析的集成桥梁。析的集成桥梁。 OWB的开发过程逻辑数据库的定义数据仓库的构架数据仓库的构架商业结构商业结构数据源和目标数据源和目标提取、转换和装载操作的映射

9、提取、转换和装载操作的映射OWB的开发过程物理数据仓库实例的配置、合法化和部署 DDLDDL脚本，用于创建数据仓库和框架对象之脚本，用于创建数据仓库和框架对象之间的关系间的关系 PL/SQLPL/SQL、SQL*LoaderSQL*Loader 和和TclTcl脚本，用于提脚本，用于提取数据、映射和转换数据，然后将其装载到取数据、映射和转换数据，然后将其装载到物理实例中物理实例中OWB的开发过程装载和管理 Oracle Enterprise ManagerOracle Enterprise Manager ，用于调度单用于调度单个工作或是个工作或是Oracle WorkflowOracle W

10、orkflow进程。进程。Oracle 提供的数据挖掘工具提供的数据挖掘工具 及其功能介绍及其功能介绍 Oracle9i Data Mining Oracle9i OLAP 工具集Oracle DiscovererOracle Discoverer Oracle ExpressOracle Express系列系列系列系列 Oracle Express AnalyzerOracle Express Analyzer Oracle Express ObjectsOracle Express Objects Oracle Express ServerOracle Express Server Ora

11、cle9i Data Mining 提高应用软件的预测提高应用软件的预测力和洞察力力和洞察力将数据挖掘功能嵌入将数据挖掘功能嵌入 Oracle9Oracle9i i 数据库中数据库中 基于基于 Java Java 的的 APIAPI Data Mining提高应用软件的预测力和洞察力 利用利用DMDM，公司能够构建高级商务智能应用程序、对公司公司能够构建高级商务智能应用程序、对公司的数据库进行挖掘、发现新的有用信息并将其集成到商的数据库进行挖掘、发现新的有用信息并将其集成到商务应用程序中。务应用程序中。 利用利用DMDM，公司能够提高在客户关系管理（公司能够提高在客户关系管理（CRMCRM），

12、），企业企业资源计划（资源计划（ERPERP），），网页入口和无线应用等商务智能方网页入口和无线应用等商务智能方面的能力。面的能力。鉴别最有利可图的消费者，避免客户流失鉴别最有利可图的消费者，避免客户流失 获得新客户，对已有客户进行交叉销售获得新客户，对已有客户进行交叉销售 检测欺诈行为检测欺诈行为 预测零件质量预测零件质量 寻找病人、药品和疗效之间的关系寻找病人、药品和疗效之间的关系 数据挖掘功能的内嵌Oracle9Oracle9i i Data Mining Data Mining 将数据挖掘功能嵌入将数据挖掘功能嵌入 Oracle9Oracle9i i 数据库中，用于分类、预报和关联。数

13、据库中，用于分类、预报和关联。所有的模型构建、评分、以及元数据管理操作所有的模型构建、评分、以及元数据管理操作经由基于经由基于 Java Java 的的 API API 来启动并完全在该关来启动并完全在该关系系数据库中发生。数据库中发生。 采用贝叶斯法则进行预测和分类采用贝叶斯法则进行预测和分类 运用关联规则检测隐藏于数据库中运用关联规则检测隐藏于数据库中“相关相关”或并发或并发事件事件 自动提取商务信息并将其整合在其他应用软件之中自动提取商务信息并将其整合在其他应用软件之中基于 Java 的 API商务智能（BIBI）开发人员可以使用基于JavaJava的应用程序接口（APIAPI）来开发基

14、于预测的应用软件。自动执行数据挖掘进程，为消费者打分以及自动执行数据挖掘进程，为消费者打分以及产生需求预测。产生需求预测。通过查询、分析和报表生成器产生新的数据通过查询、分析和报表生成器产生新的数据挖掘信息。挖掘信息。支持应用程序的集成。支持应用程序的集成。Oracle9i OLAP工具企业级企业级OLAPOLAP可将跨部门的数据紧密地联系在可将跨部门的数据紧密地联系在一起，从而使所有用户在一个共同的信息基础一起，从而使所有用户在一个共同的信息基础上。它帮助用户使用数据仓库中的所有数据。上。它帮助用户使用数据仓库中的所有数据。企业级企业级OLAPOLAP还能够超越数据仓库的范围，集成还能够超越

15、数据仓库的范围，集成来自其它独立系统的数据，这些系统可能是关来自其它独立系统的数据，这些系统可能是关系型数据库或者外部的文件系统。这种集成使系型数据库或者外部的文件系统。这种集成使得新型应用，如：基于事实的促销、基于行为得新型应用，如：基于事实的促销、基于行为的定价以及产品利润分析等能够跨越单一部门的定价以及产品利润分析等能够跨越单一部门的界限。的界限。 Oracle Discoverer 是是OracleOracle公司面向公司面向 决策支持系统决策支持系统OLAPOLAP工具集工具集的组成部分。它是一个直观的随意查询、报告、的组成部分。它是一个直观的随意查询、报告、搜索和搜索和WebWeb

16、公布的工具。公布的工具。它能够帮助公司内部各个层次的商业用户，获它能够帮助公司内部各个层次的商业用户，获得迅速访问关系型数据库、数据中心或者联机得迅速访问关系型数据库、数据中心或者联机事务处理系统中数据的能力。事务处理系统中数据的能力。 Oracle Discoverer UserEditionUserEdition提供了超乎寻常的易用性，通过任提供了超乎寻常的易用性，通过任意深入能力、旋转和图表，给予用户强大的数意深入能力、旋转和图表，给予用户强大的数据探索能力。据探索能力。 AdministrationEditionAdministrationEdition提供了一个易于使用的提供了一个易

17、于使用的基于服务器的强大的最终用户层基于服务器的强大的最终用户层( (EndUserEndUserLayerLayer ) ) 。 对于那些需要集中精力处理商业问对于那些需要集中精力处理商业问题而不是数据问题的最终用户而言，题而不是数据问题的最终用户而言，EndUserEndUserLayerLayer为他们隐藏了数据结构和相互关系的复杂为他们隐藏了数据结构和相互关系的复杂性。性。Discoverer支持下面的新特性:自动摘要管理自动摘要管理oracleoracle应用的支持应用的支持标志标志改变计划业主改变计划业主分析功能分析功能想要一部手机想要一部手机？有两个女儿有两个女儿？经常跨省旅行经

18、常跨省旅行？ 为她提供：为她提供：1.覆盖域更广的覆盖域更广的2.数字电话计划数字电话计划2.针对她女儿的针对她女儿的3.应急计划应急计划 Oracle Express系列系列通过使用通过使用Oracle Express Oracle Express ：分析咨询人员能够很轻松地从各自的视角观察数据分析咨询人员能够很轻松地从各自的视角观察数据 产品经理能够跨越许多时间段和市场区域研究她负产品经理能够跨越许多时间段和市场区域研究她负责的某个产品责的某个产品 财务经理可以集中在当前或者以前的时间段，研究财务经理可以集中在当前或者以前的时间段，研究所有的市场和产品所有的市场和产品 地区经理可在某些地区

19、的所有时间段上考察所有产地区经理可在某些地区的所有时间段上考察所有产品品 策略规划人员可以集中在公司数据的某个集上，如策略规划人员可以集中在公司数据的某个集上，如在当前和下个季度，仅在西部地区销售的某个新产在当前和下个季度，仅在西部地区销售的某个新产品。品。 Oracle Express Analyzer 通用的、面向最终用户的报告和分析工具，它通用的、面向最终用户的报告和分析工具，它采用面向对象技术，在采用面向对象技术，在OracleExpressOracleExpressAnalyzerAnalyzer中能运行任何中能运行任何OracleExpressObjectsOracleExpres

20、sObjects应用。应用。 在在OracleExpressAnalyzerOracleExpressAnalyzer的一个基石性对象的一个基石性对象是是简报简报简报简报( (briefing)briefing)。一个简报由若干页组成，每一个简报由若干页组成，每一页上包含由可重用的对象建立的面向主题的一页上包含由可重用的对象建立的面向主题的分析。这些对象是交互的、用户能够旋转、深分析。这些对象是交互的、用户能够旋转、深入和查询任何一张简报页中的表格或者图形，入和查询任何一张简报页中的表格或者图形，以运行他们自己的即席分析。以运行他们自己的即席分析。 Oracle Express Objects

21、 是最早出现的用于建立是最早出现的用于建立C/SC/S上上OLAPOLAP应用的面向应用的面向对象的可视化开发环境。对象的可视化开发环境。 提供图形化建模和假设分析功能提供图形化建模和假设分析功能 。通过使用标准的通过使用标准的MicrosoftMicrosoft对象连接嵌入技术对象连接嵌入技术( (OLE)OLE)，实现对第三方软件开放。例如能够使实现对第三方软件开放。例如能够使用一个用一个OLEOLE控件显示销售某公司产品的商店。控件显示销售某公司产品的商店。 通通过过使使用用代代理理程程序序、预预警警程程序序和和OLEOLE控控件件，可可以以监监控控存存货货水水平平，当当存存货货水水平平

22、下下降降时时向向管管理理人人员报警，自动提高主要产品的存货水平。员报警，自动提高主要产品的存货水平。Oracle Express Server 是一个先进的计算机引擎和数据高速缓存。是一个先进的计算机引擎和数据高速缓存。 支持最能反应用户对其业务思考方法的多维模支持最能反应用户对其业务思考方法的多维模型，而且具有分析、预测、建模，以及对数据型，而且具有分析、预测、建模，以及对数据进行假设分析进行假设分析( (what-if)what-if)的能力。的能力。 具有用于数学、财务、统计和时间序列管理等具有用于数学、财务、统计和时间序列管理等方面的内置功能方面的内置功能 。Oracle Expres

23、s Server具有伸缩性、强健性和基于应用的特性，支持具有伸缩性、强健性和基于应用的特性，支持多个用户访问，并且为大型数据库实现数据完多个用户访问，并且为大型数据库实现数据完整性控制。整性控制。 OracleOracle的开放策略允许实施企业的开放策略允许实施企业OLAPOLAP的公司自的公司自由选择所需的关系型数据库、开发工具和用户由选择所需的关系型数据库、开发工具和用户界面，其中包括用户化的界面，其中包括用户化的WindowsWindows前端、电子前端、电子表格和表格和WWWWWW，从而获得最大限度的灵活性。从而获得最大限度的灵活性。 Oracle 开发工具简介 DesignerDes

24、igner提供了提供了在在RADRAD风格的风格的用用户户界面下开界面下开发发企企业业WebWeb应应用用和客和客户户/ /服服务务器器应应用的集成式解决方案用的集成式解决方案。 DeveloperDeveloper 提供有一个集成式工具集提供有一个集成式工具集 ，能能够实现够实现企业的企业的InternetInternet计计算算环环境境 J Jdeveloper developer 一种一种高效的高效的3 3GLGL编编程工具程工具，可用来为客户应用建立，可用来为客户应用建立数据敏感的数据敏感的JavaJava部件部件 Oracle 开发工具简介Programmer Programmer 为为应应用用编编程人程人员员提供一套完整的提供一套完整的编编程接口和程接口和全面的全面的应应用开用开发发解决方案解决方案 Reports Reports 用于用于企企业业范范围围内内进进行行“ “高逼真度高逼真度” ”的的WebWeb数据数据库发库发布和布和报报告告谢 谢