《数据仓库与数据挖掘综述资料教程》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘综述资料教程（81页珍藏版）》请在金锄头文库上搜索。
1、数据仓库与数据挖掘综述概念、体系结构、趋势、应用报告人：朱建秋报告人：朱建秋 20012001年年6 6月月7 7日日提纲v数据仓库概念v数据仓库体系结构及组件v数据仓库设计v数据仓库技术（与数据库技术的区别）v数据仓库性能v数据仓库应用v数据挖掘应用概述v数据挖掘技术与趋势v数据挖掘应用平台（科委申请项目）数据仓库概念v基本概念v对数据仓库的一些误解基本概念数据仓库特征Inmon,1996v面向主题n一个主题领域的表来源于多个操作型应用（如：客户主题，来源于：定单处理；应收帐目；应付帐目；）n典型的主题领域：客户；产品；交易；帐目n主题领域以一组相关的表来具体实现n相关的表通过公共的键码联系
2、起来（如：顾客标识号Customer ID）n每个键码都有时间元素（从日期到日期；每月累积；单独日期）n主题内数据可以存储在不同介质上（综合级，细节级，多粒度）v集成n数据提取、净化、转换、装载v稳定性n批处理增加，仓库已经存在的数据不会改变v随时间而变化（时间维）v管理决策支持基本概念Data Mart, ODSvData Martn数据集市 - 小型的，面向部门或工作组级数据仓库。vOperation Data Storen操作数据存储 ODS是能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。四个基本特点：面向主题的(Subject
3、-Oriented)、集成的、可变的、 当前或接近当前的。基本概念ETL, 元数据，粒度，分割vETLnETL（Extract/Transformation/Load）数据装载、转换、抽取工具。Microsoft DTS; IBM Visual Warehouse etc.v元数据n关于数据的数据，用于构造、维持、管理、和使用数据仓库，在数据仓库中尤为重要。v粒度n数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度越小。v分割n数据分散到各自的物理单元中去，它们能独立地处理。对数据仓库的一些误解v数据仓库与OLAPn星型数据模型n多维分析v数据仓库不是一个虚拟的概念v数据仓
4、库与范式理论n需要非范式化处理提纲v数据仓库概念v数据仓库体系结构及组件v数据仓库设计v数据仓库技术（与数据库技术的区别）v数据仓库性能v数据仓库应用v数据挖掘应用概述v数据挖掘技术与趋势v数据挖掘应用平台（科委申请项目）数据仓库体系结构及组件v体系结构vETL工具v元数据库(Repository)及元数据管理v数据访问和分析工具体系结构 Pieter ,1998SourceDatabasesData Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCent
5、ralMetadataArchitectedData MartsData Accessand AnalysisEnd-UserDW ToolsCentral DataWarehouseCentral DataWarehouseMid-TierMid-TierDataMartDataMartLocal MetadataLocal MetadataLocal MetadataMetadataExchangeMDBDataCleansingToolRelationalAppl. PackageLegacyExternalRDBMSRDBMS带ODS的体系结构SourceDatabasesHub -
6、Data Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadataArchitectedData MartsData Accessand AnalysisCentral Data Ware-house and ODSCentral DataWarehouseMid-TierRDBMSDataMartMid-TierRDBMSDataMartLocal MetadataLocal MetadataLocal MetadataMetadat
7、aExchangeODSOLTPToolsDataCleansingToolRelationalAppl. PackageLegacyExternalMDBEnd-UserDW Tools现实环境异质性Douglas Hackney ,2001CustomCustomMarketingMarketingData Data WarehouseWarehousePackagedPackagedOracle Oracle FinancialFinancialData Data WarehouseWarehousePackagedPackagedI2 Supply ChainI2 Supply Cha
8、inNon- ArchitectedNon- ArchitectedData MartData MartSubsetSubsetData MartsData MartsOracle FinancialsOracle Financialsi2 Supply Chaini2 Supply ChainSiebel CRMSiebel CRM3 3rd Partyrd Partye-Commercee-Commerce联合型数据仓库/数据集市体系结构Real TimeReal TimeODSODSFederatedFederatedFinancialFinancialData Data Warehou
9、seWarehouseSubsetSubsetData MartsData MartsCommonCommonStagingStagingAreaAreaOracle FinancialsOracle Financialsi2 Supply Chaini2 Supply ChainSiebel CRMSiebel CRM3 3rd Partyrd PartyFederatedFederatedPackagedPackagedI2 SupplyI2 SupplyChainChainData MartsData MartsAnalyticalAnalyticalApplicationsApplic
10、ationse-Commercee-CommerceReal TimeReal TimeData MiningData Miningand Analyticsand AnalyticsReal TimeReal TimeSegmentation,Segmentation,Classification, Classification, Qualification,Qualification,Offerings, etc.Offerings, etc.FederatedFederatedMarketingMarketingData Data WarehouseWarehouseETL tools
11、& DW templatesData profiling & reengineering toolsDemand-driven data acquisition & analysisMetadata InterchangeFederated data warehouse and data mart systemsDecision engine models, rules and metricsOLAP & data mining tools, Analysis templatesAnalytic application development tools & componentsAnalyti
12、c applicationsFront- and back-Front- and back-office OLTPoffice OLTPe-Business e-Business systemssystemsExternal information External information providersprovidersCRM CRM Analytics & Analytics & ReportingReportingSupply Chain Supply Chain Analytics & Analytics & ReportingReportingEKP - Enterprise E
13、KP - Enterprise Knowledge Knowledge Management PortalManagement PortalEPM EPM Analytics & Analytics & ReportingReportingBusiness Business information & information & recommendationsrecommendationsInformed Informed decisions decisions & actions& actionsFinancial Financial Analytics & Analytics & Repo
14、rtingReportingHR Analytics HR Analytics & Reporting& Reporting闭环的联合型BI体系结构数据仓库的焦点问题-数据的获得、存储和使用RelationalPackageLegacyExternalsourceDataCleanToolDataStagingEnterprise DataWarehouse DatamartDatamartRDBMSROLAPRDBMSEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolvv数据仓库和集市的加载能力至关重要数据仓库和集市的加载能力至关重要vv数
15、据仓库和集市的查询输出能力至关重数据仓库和集市的查询输出能力至关重要要ETL工具v去掉操作型数据库中的不需要的数据v统一转换数据的名称和定义v计算汇总数据和派生数据v估计遗失数据的缺省值v调节源数据的定义变化 ETL工具体系结构元数据库及元数据管理v元数据分类：技术元数据；商业元数据；数据仓库操作型信息。-Alex Berson etc, 1999v技术元数据n包括为数据仓库设计人员和管理员使用的数据仓库数据信息，用于执行数据仓库开发和管理任务。包括：n数据源信息n转换描述（从操作数据库到数据仓库的映射方法，以及转换数据的算法）n目标数据的仓库对象和数据结构定义n数据清洗和数据增加的规则n数据
16、映射操作n访问权限，备份历史，存档历史，信息传输历史，数据获取历史，数据访问，等等元数据库及元数据管理v商业元数据n给用户易于理解的信息，包括：n主题区和信息对象类型，包括查询、报表、图像、音频、视频等nInternet主页n支持数据仓库的其它信息，例如对于信息传输系统包括预约信息、调度信息、传送目标的详细描述、商业查询对象，等v数据仓库操作型信息n例如，数据历史（快照，版本），拥有权，抽取的审计轨迹，数据用法 元数据库及元数据管理v元数据库（metadatarepository）和工具 Martin Stardt，2000数据访问和分析工具v报表vOLAPv数据挖掘提纲v数据仓库概念v数据仓库体系结构及组件v数据仓库设计v数据仓库技术（与数据库技术的区别）v数据仓库性能v数据仓库应用v数据挖掘应用概述v数据挖掘技术与趋势v数据挖掘应用平台（科委申请项目）数据仓库设计v自上而下（Top-Down）v自底而上（Bottom Up）v混合的方法v数据仓库建模Top-down ApproachvBuild Enterprise data warehouseHCommon central da
