《数据仓库与数据挖掘综述》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘综述（81页珍藏版）》请在金锄头文库上搜索。
1、数据仓库与数据挖掘综述概念、体系结构、趋势、应用报告人：朱建秋报告人：朱建秋 20012001年年6 6月月7 7日日提纲v数据仓库概念v数据仓库体系结构及组件v数据仓库设计v数据仓库技术（与数据库技术的区别）v数据仓库性能v数据仓库应用v数据挖掘应用概述v数据挖掘技术与趋势v数据挖掘应用平台（科委申请项目）数据仓库概念v基本概念v对数据仓库的一些误解基本概念数据仓库 Data warehouse is a subject oriented, integrated,non-volatile and time variant collection of data in support of ma
2、nagements decision Inmon,1996. Data warehouse is a set of methods, techniques,and tools that may be leveraged together to produce a vehicle that delivers data to end-users on an integrated platform Ladley,1997. Data warehouse is a process of crating, maintaining,and using a decision-support infrastr
3、ucture Appleton,1995Haley,1997Gardner 1998.基本概念数据仓库特征Inmon,1996v面向主题n一个主题领域的表来源于多个操作型应用（如：客户主题，来源于 ：定单处理；应收帐目；应付帐目；）n典型的主题领域：客户；产品；交易；帐目n主题领域以一组相关的表来具体实现n相关的表通过公共的键码联系起来（如：顾客标识号Customer ID ）n每个键码都有时间元素（从日期到日期；每月累积；单独日期）n主题内数据可以存储在不同介质上（综合级，细节级，多粒度）v集成n数据提取、净化、转换、装载v稳定性n批处理增加，仓库已经存在的数据不会改变v随时间而变化（时间维
4、）v管理决策支持基本概念Data Mart, ODSvData Martn数据集市 - 小型的，面向部门或工作组级 数据仓库。vOperation Data Storen操作数据存储 ODS是能支持企业日常的 全局应用的数据集合,是不同于DB的一种新的数 据环境, 是DW 扩展后得到的一个混合形式。四 个基本特点：面向主题的(Subject -Oriented) 、集成的、可变的、 当前或接近当前的。基本概念ETL, 元数据，粒度，分割vETLnETL（Extract/Transformation/Load）数据装载、 转换、抽取工具。Microsoft DTS; IBM Visual War
5、ehouse etc.v元数据n关于数据的数据，用于构造、维持、管理、和使用数据 仓库，在数据仓库中尤为重要。v粒度n数据仓库的数据单位中保存数据的细化或综合程度的级 别。细化程度越高，粒度越小。v分割n数据分散到各自的物理单元中去，它们能独立地处理。对数据仓库的一些误解v数据仓库与OLAPn星型数据模型n多维分析v数据仓库不是一个虚拟的概念v数据仓库与范式理论n需要非范式化处理提纲v数据仓库概念v数据仓库体系结构及组件v数据仓库设计v数据仓库技术（与数据库技术的区别）v数据仓库性能v数据仓库应用v数据挖掘应用概述v数据挖掘技术与趋势v数据挖掘应用平台（科委申请项目）数据仓库体系结构及组件v体
6、系结构vETL工具v元数据库(Repository)及元数据管理v数据访问和分析工具体系结构 Pieter ,1998Source DatabasesData Extraction, Transformation, loadWarehouse Admin. ToolsExtract, Transform and LoadData Modeling ToolCentral MetadataArchitected Data MartsData Access and AnalysisEnd-User DW ToolsCentral Data WarehouseCentralData Warehous
7、eMid- TierMid- TierData MartData MartLocal MetadataLocal MetadataLocal MetadataMetadata ExchangeMDBData Cleansing ToolRelationalAppl. PackageLegacyExternalRDBMSRDBMS带ODS的体系结构Source DatabasesHub - Data Extraction, Transformation, loadWarehouse Admin. ToolsExtract, Transform and LoadData Modeling Tool
8、Central MetadataArchitected Data MartsData Access and AnalysisCentral Data Ware- house and ODSCentralData WarehouseMid- TierRDBMSData MartMid- TierRDBMSData MartLocal MetadataLocal MetadataLocal MetadataMetadata ExchangeODS OLTP ToolsData Cleansing ToolRelationalAppl. PackageLegacyExternalMDB End-Us
9、er DW Tools现实环境异质性Douglas Hackney ,2001CustomCustom MarketingMarketing Data Data WarehouseWarehousePackagedPackaged Oracle Oracle FinancialFinancial Data Data WarehouseWarehousePackagedPackaged I2 Supply ChainI2 Supply Chain Non- Non- ArchitectedArchitected Data MartData MartSubsetSubset Data MartsD
10、ata MartsOracle FinancialsOracle Financialsi2 Supply Chaini2 Supply ChainSiebelSiebel CRM CRM3 3rd Partyrd Partye-Commercee-Commerce联合型数据仓库/数据集市体系结构Real TimeReal Time ODSODSFederatedFederated FinancialFinancial Data Data WarehouseWarehouseSubsetSubset Data MartsData MartsCommonCommon StagingStaging
11、AreaAreaOracle FinancialsOracle Financialsi2 Supply Chaini2 Supply ChainSiebelSiebel CRM CRM3 3rd Partyrd PartyFederatedFederated PackagedPackaged I2 SupplyI2 Supply ChainChain Data MartsData MartsAnalyticalAnalytical ApplicationsApplicationse-Commercee-CommerceReal TimeReal Time Data MiningData Min
12、ing and Analyticsand AnalyticsReal TimeReal Time Segmentation,Segmentation, Classification, Classification, Qualification,Qualification, Offerings, etc.Offerings, etc.FederatedFederated MarketingMarketing Data Data WarehouseWarehouseETL tools global data discoveryvBuild datamarts from the Enterprise
13、 Data Warehouse (EDW)HSubset of EDW relevant to departmentHMostly summarized dataHDirect dependency on EDW data availabilityLocal Data MartLocal Data MartExternal DataLocal Data MartOperational DataEnterprise Warehouse自底而上设计方法创建部门的数据集市n范围局限于一个主题区域n快速的 ROI - 局部的商业需 求得到满足H本部门自治 - 设计上具有灵 活性H对其他部门数据集市是一
14、个好 的指导H容易复制到其他部门 H需要为每个部门做数据重建H有一定级别的冗余和不一致性H一个切实可行的方法v扩大到企业数据仓库n创建EDB作为一个长期的目 标局部数据集市外部数据操作型数据 (全部)操作型数据 (局部)操作型数据 (局部)局部数据集市企业数据仓库 EDB数据仓库建模 星型模式vExample of Star SchemaDate Month YearDateCustId CustName CustCity CustCountryCustSales Fact TableDateProductStore Customerunit_salesdollar_salesYen_sale
15、sMeasurementsProductNo ProdName ProdDesc Category QOHProductStoreID City State Country RegionStore数据仓库建模 雪片模式Date MonthDateCustId CustName CustCity CustCountryCustSales Fact TableDateProductStore Customerunit_salesdollar_salesYen_salesMeasurementsProductNo ProdName ProdDesc Category QOHProductMonth
16、YearMonthYear YearCity StateCityCountry RegionCountryState CountryStateStoreID CityStorevvExample of Snowflake SchemaExample of Snowflake Schema操作型（OLTP）数据源 - 销售库星形模式时间维事实表多维模型事实度量 (Metrics)时间维时间维的属性提纲v数据仓库概念v数据仓库体系结构及组件v数据仓库设计v数据仓库技术（与数据库技术的区别）v数据仓库性能v数据仓库应用v数据挖掘应用概述v数据挖掘技术与趋势v数据挖掘应用平台（科委申请项目）数据仓库技术 Inmon，19961.1.管理大量数据管理大量数据n n能够管理大量数据的能力能够管理大量数据的能力n n能够管理好的能力能够管理好的能力2.2.管理多介质（层次）管理多介质（层次）n n主存、扩展内存、高速缓存、主存、扩展内存、高速缓存、DASDDASD、光盘、缩微胶片光盘、缩
