《数据仓库原理设计与应用.ppt》由会员分享，可在线阅读，更多相关《数据仓库原理设计与应用.ppt（28页珍藏版）》请在金锄头文库上搜索。
1、第第1 1章章数据仓库与数据挖掘概述数据仓库与数据挖掘概述 随着信息技术的不断推广和应用，许多企业都已经在使用管理信息系统处理管理事务和日常业务。这些管理信息系统为企业积累了大量的信息。企业管理者开始考虑如何利用这些信息海洋对企业的管理决策提供支持。因此，产生了与传统数据库有很大差异的数据环境要求和从这些海洋数据中获取特殊知识的工具需要。本章目标：(1)了解数据仓库的发展与展望 。(2) 理解数据仓库的体系结构和参照结构。 (3) 初步了解数据挖掘技术、数据挖掘技术与工具 。(4) 掌握数据挖掘的应用 。数据仓库与数据挖掘概述数据仓库与数据挖掘概述1.11.1数据仓库的发展与展望数据仓库的发展
2、与展望1.21.2数据仓库的体系结构数据仓库的体系结构 1.31.3数据仓库的参照结构数据仓库的参照结构 1.41.4数据挖掘技术概述数据挖掘技术概述 1.51.5数据挖掘技术与工具数据挖掘技术与工具 1.61.6数据挖掘的应用数据挖掘的应用 练练 习习1.11.1数据仓库的发展与展望数据仓库的发展与展望 1.1.11.1.1从传统数据库到数据仓库从传统数据库到数据仓库 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据，而是需要信息能够支持决策的信息，去帮助管理决策。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，传统数据库系
3、统无法承担这一责任。因为传统数据库的处理方式和决策分析中的数据需求不相称。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决策数据操作的问题。 1.11.1数据仓库的发展与展望数据仓库的发展与展望 1.决策处理的系统响应问题决策处理的系统响应问题2.决策数据需求的问题决策数据需求的问题3.决策数据操作的问题决策数据操作的问题4.数据仓库与传统数据库的对比数据仓库与传统数据库的对比1.11.1数据仓库的发展与展望数据仓库的发展与展望 对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处理面向主题域、管理决策分析应用数据特性动态
4、变化、按字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操作计算简单、适合分析使用频率高中到低数据访问量每个事务只访问少量记录有的事务可能要访问大量记录对响应时间的要求以秒为单位计量以秒、分钟、甚至小时为计量单位定义： “一个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程”。特性：面向主题性数据集成性数据的时变性数据的非易失性数据的集合性支持决策作用。 1.1.2 数据仓库的定义与基本特性数据仓库的定义与基本特性 1.1.3 数据仓库的未来发展 基于关系对象数据库的数据仓库网络的影响操作型数据仓库要求Web中的代理技术 1.2 1.2 数据仓
5、库的体系结构数据仓库的体系结构 1.2.1 数据仓库的概念结构数据仓库的概念结构从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。 数据源业务系统外部数据源数据准备区数据仓库数据库应用工具管理工具数据集市/知识挖掘库应用工具数据集市/知识挖掘库图1.1 数据仓库的概念结构1.2.2 1.2.2 虚拟数据仓库结构虚拟数据仓库结构虚拟数据仓库利用描述了业务系统中数据位置和抽取数虚拟数据仓库利用描述了业务系统中数据位置和抽取数据算法的元数据直接从业务系统中抽取查询的数据进行据算法的元数据直接从业务系统中抽取查询的数据进行概括、聚合操
6、作后，将最终结果提供给用户概括、聚合操作后，将最终结果提供给用户 用户图1.2 虚拟数据仓库结构数据仓库查询管理服务器业务系统数据库1.2.3 数据集市结构数据集市结构数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库，没有一个独立的数据仓库。系统的数据不存储在同一数据仓库中，每个主题有自己的物理存储区。 数据仓库查询管理服务器业务系统数据库主题1主题21.2.4 单一数据仓库结构单一数据仓库结构将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。 数据仓库查询管理服务器
7、业务系统数据库数据仓库数据集市1数据集市21.2.5 分布式数据仓库结构分布式数据仓库结构在企业各个分公司具有相当大的独立性时，企业总部设置一个全局数据仓库，各个分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据，全局数据仓库中主要存储经过转换的综合数据 站点A 站点B 站点C 站点D全局数据仓库局部数据仓库局部数据仓库局部数据仓库局部数据仓库总部1.31.3数据仓库的参照结构数据仓库的参照结构 数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。数据仓库的管理层分成数据管理与元数据管理两部分
8、，主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。数据仓库环境支持层包含数据传输和数据仓库基础两部分。数据仓库基本功能层数据仓库管理层数据仓库环境支持层1.3.1 数据仓库基本功能层数据仓库基本功能层数据源数据准备区数据仓库结构 数据集市/知识挖掘库存取与使用数据来源主要包含：业务数据、历史数据、办公数据、数据来源主要包含：业务数据、历史数据、办公数据、WebWeb数数据、外部数据以及数据源元数据据、外部数据以及数据源元数据 数据准备区的功能结构部分由数据标准化处理、数据的过滤与数据准备区的功能结构部分由数据标准化处理、数据的过滤与匹配、数据的净化处理、标明数据的时间戳、
9、确认数据质量与匹配、数据的净化处理、标明数据的时间戳、确认数据质量与元数据抽取和创建等操作组成元数据抽取和创建等操作组成 数据仓库的功能结构部分由数据重整和数据仓库创建以及元数数据仓库的功能结构部分由数据重整和数据仓库创建以及元数据管理组成据管理组成 数据集市数据集市/ /知识挖掘库的功能结构与数据仓库的功能结构极为知识挖掘库的功能结构与数据仓库的功能结构极为相似相似 数据仓库的数据存取与使用结构主要为数据仓库的最终用户提数据仓库的数据存取与使用结构主要为数据仓库的最终用户提供进行决策分析和挖掘知识的功能。数据仓库的数据存取与使供进行决策分析和挖掘知识的功能。数据仓库的数据存取与使用结构应该包
10、含数据仓库存取与检索、元数据管理以及数据仓用结构应该包含数据仓库存取与检索、元数据管理以及数据仓库分析与报告库分析与报告 1.3.2 数据仓库的管理层数据仓库的管理层数据管理层中的数据抽取、新数据需求与查询管理主要负责完成从数据源中抽取数据的管理。数据仓库中的数据加载、存储、刷新和更新系统则负责对从数据源中所抽取的数据在完成筛选、净化处理以后，将这些数据加载、存储到数据仓库中；捕获数据源中的数据变化，用最新数据充实数据仓库；根据用户的需求和数据仓库管理的要求对数据仓库进行更新等工作。安全性与用户授权管理系统主要负责数据仓库的安全管理工作。数据仓库的数据归档、恢复及净化系统主要负责定期对数据仓库
11、中的数据进行归档、备份。净化系统则负责对从数据源所抽取的数据进行数据的筛选、数据标准的统一、数据内容的统一等各种求精、重整净化工作的管理。数据抽取与新数据需求与查询管理数据加载、存储、刷新和更新系统安全性与用户授权管理系统数据归档、恢复及净化系统1.3.3 数据仓库的元数据管理层数据仓库的元数据管理层负责管理数据仓库所使用的元数据，其中包括：负责管理数据仓库所使用的元数据，其中包括：数据仓库、数据集市数据仓库、数据集市/ /知识挖掘库和词汇表管理知识挖掘库和词汇表管理元数据抽取、创建、存储和更新管理元数据抽取、创建、存储和更新管理预定义的查询和报表以及索引管理预定义的查询和报表以及索引管理刷新
12、与复制管理，登录、归档、恢复与净化管理数据仓库、数据集市和词汇表管理元数据抽取、创建、存储和更新管理预定义的查询、报表和索引管理刷新与复制管理登录、归档、恢复与净化管理1.3.4 数据仓库的环境支持层数据仓库的环境支持层 数据传输层包含了：数据传输层包含了：数据传输和传送网络数据传输和传送网络客户客户/ /服务器代理和中间件服务器代理和中间件复制系统复制系统数据传输的安全保障系统数据传输的安全保障系统 数据传输和传送网络客户/服务器代理和中间件复制系统安全和保障系统1.41.4数据挖掘技术概述数据挖掘技术概述 1.4.1 数据挖掘的发展数据挖掘的发展在促进数据挖掘诞生、发展和应用的众多原因中主
13、要有：在促进数据挖掘诞生、发展和应用的众多原因中主要有：超大规模数据库的出现超大规模数据库的出现先进的计算机技术先进的计算机技术经营管理的实际需要经营管理的实际需要数据的精深计算能力。数据的精深计算能力。1.4.2 数据挖掘的定义数据挖掘的定义从从技技术术角角度度看看，数数据据挖挖掘掘是是从从大大量量的的、不不完完全全的的、有有噪噪声声的的、模模糊糊的的、随随机机的的实实际际数数据据中中，提提取取隐隐含含在在其其中中的的、人人们们所所不不知知道道的的、但但又又是是潜潜在在有用的信息和知识的过程。有用的信息和知识的过程。从从商商业业应应用用角角度度看看，数数据据挖挖掘掘是是一一种种崭崭新新的的商
14、商业业信信息息处处理理技技术术，其其主主要要特特点点是是对对商商业业数数据据库库中中的的大大量量业业务务数数据据进进行行抽抽取取、转转化化、分分析析和和模模式式化化处理，从中提取辅助商业决策的关键知识。处理，从中提取辅助商业决策的关键知识。 数据挖掘工具与传统数据分析工具的比较 传统数据分析工具(DSS/EIS)数据挖掘工具工具特点回顾型的、验证型的预测型的、发现型的分析重点已经发生了什么预测未来的情况、解释发生的原因分析目的从最近的销售文件中列出最大客户锁定未来的可能客户，以减少未来的销售成本数据集大小数据维、维中属性数、维中数据均是少量的数据维、维中属性数、维中数据均是庞大的启动方式企业管
15、理人员、系统分析员、管理顾问启动与控制数据与系统启动，少量的人员指导技术状况成熟统计分析工具已成熟，其他工具正在发展中1.5 数据挖掘技术与工具 1.5.1 常用数据挖掘技术常用数据挖掘技术数据挖掘的发展受到数据库系统、统计学、机器学习、可视化数据挖掘的发展受到数据库系统、统计学、机器学习、可视化技术、信息技术以及其它学科的影响，例如神经网络、模糊技术、信息技术以及其它学科的影响，例如神经网络、模糊/粗粗糙集理论、知识表示、归纳技术与高性能计算等。糙集理论、知识表示、归纳技术与高性能计算等。从常用的数据挖掘技术来看可以分成三大类：从常用的数据挖掘技术来看可以分成三大类：传统分析类传统分析类知识
16、发现类知识发现类其它最新发展的一些数据挖掘技术。其它最新发展的一些数据挖掘技术。 1.5.2 常用数据挖掘工具常用数据挖掘工具数数据据挖挖掘掘工工具具按按照照使使用用方方式式，可可以以分分成成：决决策策方方案案生生成成工工具具、商商业业分分析析工工具具和和研研究究分分析析工具三大类。工具三大类。按按照照数数据据挖挖掘掘的的技技术术可可以以分分成成：基基于于神神经经网网络络的的工工具具、基基于于规规则则和和决决策策树树的的工工具具、基基于于模糊逻辑的工具和综合性数据挖掘工具等。模糊逻辑的工具和综合性数据挖掘工具等。按按照照数数据据挖挖掘掘的的应应用用范范围围可可以以将将挖挖掘掘工工具具分分成成专
17、专用用型型数数据据挖挖掘掘工工具具和和通通用用型型数数据据挖挖掘掘工工具。具。1.5.3 数据挖掘工具的评价标准数据挖掘工具的评价标准模式种类的数量模式种类的数量 解决复杂问题的能力解决复杂问题的能力 操作性能操作性能 数据获取能力数据获取能力 挖掘结果的输出挖掘结果的输出挖掘结果的输出挖掘结果的输出噪声数据的处理及挖掘工具的鲁棒性噪声数据的处理及挖掘工具的鲁棒性 1.5.4 常用数据挖掘工具选择常用数据挖掘工具选择 1.6 数据挖掘的应用数据挖掘的应用1.6.1 数据挖掘与数据仓库数据挖掘与数据仓库大大多多数数数数据据挖挖掘掘工工具具需需要要在在集集成成的的、一一致致的的、经经过过清清理理的
18、的数据上进行挖掘。数据上进行挖掘。 数数据据挖挖掘掘过过程程中中所所需需要要的的数数据据处处理理与与分分析析工工具具完完全全可可以以在在数据仓库的数据处理与数据分析工具中找到，数据仓库的数据处理与数据分析工具中找到， 数数据据仓仓库库中中的的OLAP完完全全可可以以为为数数据据挖挖掘掘提提供供有有关关的的数数据据操作支持操作支持 数数据据挖挖掘掘技技术术在在数数据据仓仓库库中中的的应应用用，正正好好弥弥补补了了数数据据仓仓库库只能提供大量数据，而无法进行深度信息分析的缺陷。只能提供大量数据，而无法进行深度信息分析的缺陷。 1.6.2 数据挖掘过程数据挖掘过程 确定挖掘对象确定挖掘对象准备数据准
19、备数据建立模型建立模型数据挖掘数据挖掘结果分析结果分析知识应用阶段知识应用阶段 业务对象 源数据 集成数据 目标数据 预处理数据 商业模式 知识 应用方案业务分析人员数据分析人员数据管理人员1.6.3 1.6.3 数据挖掘的用户数据挖掘的用户 练 习 1.为什么不能依靠传统的业务处理系统进行决策分析？ 2.2.在在将将数数据据源源中中的的数数据据加加载载到到数数据据仓仓库库之之前前需需要要完成那些工作？为什么要进行这些工作？完成那些工作？为什么要进行这些工作？3.3.如如果果创创建建一一个个数数据据仓仓库库，主主要要是是分分析析关关于于客客户户的的人人口口统统计计（收收入入、家家庭庭人人口口、家家庭庭位位置置、爱爱好好等等）。数数据据仓仓库库的的目目的的在在于于将将特特定定的的产产品品推推销销给给合合适适的的潜潜在在客客户户群群。这这个个数数据据仓仓库库应应该该从从哪哪些些地地方方获获取取数数据据源源，数数据据仓仓库库的的体体系系结结构构应应该包含哪些部分。该包含哪些部分。 4.从数据挖掘与数据库、统计学、机器学习的关系来讨论什么是数据挖掘? 5.在数据挖掘过程中需要涉及到哪些过程？ 6.在现实中有哪些人需要使用数据挖掘技术来帮助他的工作?
