数据仓库与数据挖掘序论 ppt课件

《数据仓库与数据挖掘序论 ppt课件》由会员分享，可在线阅读，更多相关《数据仓库与数据挖掘序论 ppt课件（68页珍藏版）》请在金锄头文库上搜索。

1、数据仓库与数据挖掘,主讲教师：王浩畅 E-mail: wanghch_ School of Computer & Information Technology of NEPU,教科书和参考书,教科书 数据挖掘：概念与技术，Jiawei Han和Micheline Kamber 著，机械工业出版社(2008) 参考书 J. Han and M. Kamber. Data Mining: Concepts and Techniques. 2nd ed. 机械工业出版社 2006 P.-N. Tan, M. Steinbach and V. Kumar, Introduction to Data M

2、ining. 人民邮电出版社 2005 I. H. Witten and E. Frank, Data Mining: Practical Machine Learning Tools and Techniques 2nd ed.机械工业出版社 2005,课堂要求,必须在打预备铃前到教室，不得迟到、早退、旷课。迟到一次平时成绩扣5分，旷课一次平时成绩扣10分 上课时必须关闭手机，严禁在上课时间打电话、短信聊天。对扰乱课堂纪律的学生将责令退出课堂,并以旷课论处。 缺课超过1/3不能参加考试 期末成绩=平时成绩占10%+实验成绩占10%+考试成绩占80%,第1章 引言,数据挖掘的发展动力(1),需

3、要是发明之母 数据爆炸问题 自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。 我们拥有丰富的数据，但却缺乏有用的信息 解决方法：数据仓库技术和数据挖掘技术 数据仓库(Data Warehouse)和在线分析处理(OLAP) 数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）,数据挖掘的发展动力(2),数据库技术的演化 1960s和以前: 文件系统 1970s: 层次数据库和网状数据库 1980s早期: 关系数据模型, 关系数据库管理系统(RDBMS)的实现,数据挖掘的发展动力(3),1980s晚期: 各种高级数据库系统(扩展

4、的关系数据库,面向对象数据库等等.) 面向应用的数据库系统 (空间数据库，时序数据库，多媒体数据库等等） 1990s: 数据挖掘, 数据仓库, 多媒体数据库和网络数据库 2000s 流数据管理和挖掘 基于各种应用的数据挖掘 XML数据库和整合的信息系统,第1章 引言,什么是数据挖掘？(1),数据挖掘 (从数据中发现知识) 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识 挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词） 数据挖掘的替换词 数据库中的知识挖掘（KDD）知识提炼、数据/模式分析 数据考古 数据捕捞、信息收获等等。 并非所有东西都是“数据挖

5、掘” 查询处理. 专家系统或是小型的数学计算/统计程序,什么是数据挖掘？(2),数据挖掘的应用 数据分析和决策支持 市场分析和管理 目标市场, 客户关系管理 (CRM), 市场占有量分析, 交叉销售, 市场分割 风险分析和管理 风险预测, 客户保持, 保险业的改良, 质量控制, 竞争分析 欺骗检测和异常模式的监测 (孤立点) 其他的应用 文本挖掘 (新闻组,电子邮件, 文档) 和WEB挖掘 流数据挖掘 DNA 和生物数据分析 等等。,什么是数据挖掘？(3),数据挖掘应用市场分析和管理(1) 数据从那里来? 信用卡交易, 会员卡, 商家的优惠卷, 消费者投诉电话, 公众生活方式研究 目标市场 构

6、建一系列的“客户群模型”，这些顾客具有相同特征: 兴趣爱好, 收入水平, 消费习惯,等等 确定顾客的购买模式 交叉市场分析 货物销售之间的相互联系和相关性，以及基于这种联系上的预测,什么是数据挖掘？(4),数据挖掘应用市场分析和管理(2) 顾客分析 哪类顾客购买那种商品 (聚类分析或分类预测) 客户需求分析 确定适合不同顾客的最佳商品 预测何种因素能够吸引新顾客 提供概要信息 多维度的综合报告 统计概要信息 (数据的集中趋势和变化),什么是数据挖掘？(5),数据挖掘应用公司分析和风险管理 财务计划 现金流转分析和预测 交叉区域分析和时间序列分析（财务资金比率，趋势分析等等） 资源计划 总结和比

7、较资源和花费 竞争 对竞争者和市场趋势的监控 将顾客按等级分组和基于等级的定价过程 将定价策略应用于竞争更激烈的市场中,什么是数据挖掘？(6),数据挖掘应用欺诈行为检测和异常模式的发现 (1) 方法: 对欺骗行为进行聚类和建模，并进行孤立点分析 应用: 卫生保健、零售业、信用卡服务、电信等 汽车保险: 相撞事件的分析 洗钱: 发现可疑的货币交易行为 医疗保险 职业病人, 医生以及相关数据分析 不必要的或相关的测试,什么是数据挖掘？(7),数据挖掘应用欺诈行为检测和异常模式的发现 (2) 电信: 电话呼叫欺骗行为 电话呼叫模型: 呼叫目的地，持续时间，日或周呼叫次数. 分析该模型发现与期待标准的

8、偏差 零售产业 分析师估计有38的零售额下降是由于雇员的不诚实行为造成的 反恐怖主义,什么是数据挖掘？(8),其他应用 体育竞赛 美国NBA的29个球队中，有25个球队使用了IBM 分析机构的数据挖掘工具，通过分析每个对手的数据（盖帽、助攻、犯规等数据）来获得比赛时的对抗优势。 天文学 JPL实验室和Palomar天文台就曾经在数据挖掘工具的帮助下发现了22颗新的恒星 网上冲浪 通过将数据挖掘算法应用于网络访问日志，从与市场相关的网页中发现消费者的偏爱和行为, 分析网络行销的有效性，改善网络站点组织。这就是新兴的WEB挖掘研究,数据挖掘: 数据库中的知识挖掘(KDD),数据挖掘知识挖掘的核心,

9、数据清理,数据集成,数据库,数据仓库,Knowledge,任务相关数据,选择,数据挖掘,模式评估,什么是数据挖掘？(9),知识挖掘的步骤 了解应用领域 了解相关的知识和应用的目标 创建目标数据集: 选择数据 数据清理和预处理: (这个可能要占全过程60的工作量) 数据缩减和变换 找到有用的特征，维数缩减/变量缩减，不变量的表示。 选择数据挖掘的功能 数据总结, 分类模型数据挖掘, 回归分析, 关联规则挖掘, 聚类分析等. 选择挖掘算法 数据挖掘: 寻找感兴趣的模式 模式评估和知识表示 可视化，转换，消除冗余模式等等 运用发现的知识,什么是数据挖掘？(10),典型数据挖掘系统的体系结构,什么是数

10、据挖掘？(11),什么是数据挖掘？(12),为什么不是传统的数据分析 海量数据 算法必须有高度的可扩展性，以有效处理TB级数据 高维数据 可高达数万个不同的维 数据的高度复杂性 流数据和传感数据 时间数据、序列数据、时序数据 图、社会网络、多关系数据 异构数据库和遗产数据库 空间数据、时空数据、多媒体、文本和web数据. 新的、复杂的应用,并非所有的东西都是数据挖掘 基于数据仓库的OLAP系统 OLAP系统专注于数据的汇总，而数据挖掘系统可以对数据进行多种复杂的处理。 机器学习系统，数据统计分析系统 这些系统所处理的数据容量往往很有限。 信息系统 专注于数据的查询处理。 相比于上述系统，数据挖

11、掘系统关注更广的范围，是一个多学科的融合 海量数据处理，强调的是算法的可扩展性 i.e. 随着数据量的增加，算法运行时间的增长应该是接近线性的,什么是数据挖掘？(13),什么是数据挖掘？(14),数据挖掘:多个学科的融合,第1章 引言,在何种数据上进行数据挖掘,关系数据库 数据仓库 事务数据库 高级数据库系统和信息库 空间数据库 时间数据库和时间序列数据库 流数据 多媒体数据库 面向对象数据库和对象-关系数据库 异种数据库和历史(legacy)数据库 文本数据库和万维网(WWW),数据仓库,数据仓库 从多个数据源收集的信息存储库 存放在一个一致的模式之下 通常驻留在单个站点 通常使用多维数据模

12、型 通过数据立方体提供数据的多维视图 预计算和快速访问汇总数据 第三章详细讨论数据仓库技术,高级数据和信息系统与高级应用(1),空间数据库 空间数据库是指在关系型数据库（DBMS）内部对地理信息进行物理存储。空间数据库中存储的海量数据包括对象的空间拓扑特征、非空间属性特征以及对象在时间上的状态变化。 常见的空间数据库数据类型 地理信息系统(GIS) 遥感图像数据 医学图像数据 数据挖掘技术的应用：通过空间分类和空间趋势分析，引入机器学习算法，对有用模式进行智能检索,高级数据和信息系统与高级应用(2),时间数据库和时序数据库 时间数据库和时序数据库都存放与时间有关的数据。时间数据库通常存放包含时

13、间相关属性的数据。时序数据库存放随时间变化的值序列。 对时间数据库和时序数据库的数据挖掘,可以通过研究事物发生发展的过程，有助于揭示事物发展的本质规律，可以发现数据对象的演变特征或对象变化趋势。,高级数据和信息系统与高级应用(3),流数据 与传统的数据库技术中的静态数据不同，流数据是连续的、有序的、变化的、快速的、大量的数据输入的数据。 通常不存放在任何数据存储库中 主要应用场合 各类科学和工程数据；e.g.卫星监测数据 视频监测 气象或环境监测 流媒体等等 WEB点击流 与传统数据库技术相比，流数据在存储、查询、访问、实时性的要求等方面都有很大区别。,高级数据和信息系统与高级应用(4),多媒

14、体数据库 多媒体数据库实现用计算机管理庞大复杂的多媒体数据，主要包括包括图形(graphics)、图象(image)、声音(audio)、视频(video)等等，现代数据库技术一般将这些多媒体数据以二进制大对象的形式进行存储。 对于多媒体数据库的数据挖掘，需要将存储和检索技术相结合。目前的主要方法包括构造多媒体数据立方体、多媒体数据库的多特征提取和基于相似性的模式匹配。,高级数据和信息系统与高级应用(5),面向对象数据库和对象-关系数据库 面向对象数据库是面向对象技术和数据库技术结合的产物，该技术对数据以对象的形式进行存储，并在这个基础上实现了传统数据库的功能，包括持久性、并发控制、可恢复性、

15、一致性和查询数据库的能力等。 对象关系数据库基于对象关系模型构造，该模型通过处理复杂对象的丰富数据类型和对象定位等功能，扩充关系模型。 面向对象数据库和对象关系数据库中的数据挖掘会涉及一些新的技术，比如处理复杂对象结构、复杂数据类型、类和子类层次结构、构造继承以及方法和过程等等。,高级数据和信息系统与高级应用(6),异构数据库和历史(legacy)数据库 历史数据库是一系列的异构数据库系统的集合，包括不同种类的数据库系统，像关系数据库、网络数据库、文件系统等等。 有效利用历史数据库的关键在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。 对于异构数据库系统，实现数据共享

16、应当达到两点：一是实现数据库转换；二是实现数据的透明访问。 WEB SERVICE技术的出现有利于历史数据库数据的重新利用。,高级数据和信息系统与高级应用(7),文本数据库和万维网(WWW) 文本数据库存储的是对对象的文字性描述。 文本数据库的分类 无结构类型（大部分的文本资料和网页） 半结构类型（XML数据） 结构类型（图书馆数据） 万维网(WWW)可以被看成最大的文本数据库 特征：信息最丰富；信息高度非结构化；缺乏预订义的模式、类型和格式 一些WEB挖掘的热点 权威WEB页面分析（搜索引擎） 自动WEB页面聚类和分类 WEB社区分析、WEB访问模式检索,上节课内容回顾,1.1 数据挖掘的发展动力 数据爆炸 数据库技术的演化 1.2 什么是数据挖掘 定义:从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识 应用 数据挖掘系统的体系结构 和传统数据分析的区别 1.3 在何种数据上进行数据挖掘,