《《数据挖掘技术》PPT课件》由会员分享，可在线阅读，更多相关《《数据挖掘技术》PPT课件（176页珍藏版）》请在金锄头文库上搜索。
1、于 金 霞计算机科学与技术学院信息管理与信息系统专业课程课程第三讲第三讲 数据挖掘技术数据挖掘技术主要内容主要内容 l一、数据挖掘概述一、数据挖掘概述一、数据挖掘概述一、数据挖掘概述l二、数据预处理二、数据预处理二、数据预处理二、数据预处理l三、数据挖掘算法分类与预测三、数据挖掘算法分类与预测三、数据挖掘算法分类与预测三、数据挖掘算法分类与预测l四、数据挖掘算法聚类四、数据挖掘算法聚类四、数据挖掘算法聚类四、数据挖掘算法聚类l五、数据挖掘算法关联分析五、数据挖掘算法关联分析五、数据挖掘算法关联分析五、数据挖掘算法关联分析l六、序列模式挖掘六、序列模式挖掘六、序列模式挖掘六、序列模式挖掘l七、数
2、据挖掘软件七、数据挖掘软件七、数据挖掘软件七、数据挖掘软件l八、数据挖掘应用八、数据挖掘应用八、数据挖掘应用八、数据挖掘应用一、数据挖掘概述一、数据挖掘概述数据挖掘概念数据挖掘概念l数据挖掘数据挖掘-从大量数据中寻找其规律的技从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术，是统计学、数据库技术和人工智能技术的综合。术的综合。l数据挖掘是从数据中自动地抽取模式、关联、变数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构化、异常和有意义的结构；l数据挖掘大部分的价值在于利用数据挖掘技术改数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型善预测模型。数据挖掘与数据挖
3、掘与KDD数据挖掘与数据挖掘与KDDl知识发现（知识发现（知识发现（知识发现（KDKD）输出的是规则输出的是规则输出的是规则输出的是规则 l数据挖掘（数据挖掘（数据挖掘（数据挖掘（DMDM）输出的是模型输出的是模型输出的是模型输出的是模型 l共同点共同点共同点共同点两种方法输入的都是学习集（两种方法输入的都是学习集（两种方法输入的都是学习集（两种方法输入的都是学习集（learning setslearning sets） 目的都是尽可能多的自动化数据挖掘过程目的都是尽可能多的自动化数据挖掘过程目的都是尽可能多的自动化数据挖掘过程目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化
4、，只能半自动化数据挖掘过程并不能完全自动化，只能半自动化数据挖掘过程并不能完全自动化，只能半自动化数据挖掘过程并不能完全自动化，只能半自动化 数据挖掘的社会需求数据挖掘的社会需求国民经济和社会的信息化国民经济和社会的信息化社会信息化后，社会的运转是软件的运转社会信息化后，社会的运转是软件的运转社会信息化后，社会的历史是数据的历史社会信息化后，社会的历史是数据的历史数据挖掘的社会需求数据挖掘的社会需求数据挖掘数据挖掘数据库越来越大数据库越来越大有价值的知识有价值的知识可怕的数据可怕的数据数据挖掘的社会需求数据挖掘的社会需求数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼: 淹没在数据中 ; 不能制定合
5、适的决策! 数据数据知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.POS.n人口统计人口统计n生命周期生命周期数据挖掘的发展数据挖掘的发展l l1989 IJCAI1989 IJCAI会议：会议： 数据库中的知识发现讨论专题数据库中的知识发现讨论专题Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Knowledge Disc
6、overy in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)Frawley, 1991)l l1991-1994 KDD1991-1994 KDD讨论专题讨论专题Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996)Piatetsk
7、y-Shapiro, P. Smyth, and R. Uthurusamy, 1996)l l1995-1998 KDD1995-1998 KDD国际会议国际会议 (KDD95-98) (KDD95-98)Journal of Data Mining and Knowledge Discovery (1997)Journal of Data Mining and Knowledge Discovery (1997)l l1998 ACM SIGKDD, SIGKDD1999-2002 1998 ACM SIGKDD, SIGKDD1999-2002 会议会议, ,以及以及SIGKDD SIG
8、KDD ExplorationsExplorationsl l数据挖掘方面更多的国际会议数据挖掘方面更多的国际会议PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc.DM, etc.数据挖掘技术数据挖掘技术l技术分类技术分类预言（预言（PredicationPredication）：用历史预测未来）：用历史预测未来描述（描述（DescriptionDescription）：了解数据中潜在的规律）：了解数据中潜
9、在的规律l数据挖掘技术数据挖掘技术关联分析关联分析序列模式序列模式分类（分类（预预言言）聚集聚集异常检测异常检测异常检测异常检测l l异常检测是数据挖掘中一个重要方面，用来发现异常检测是数据挖掘中一个重要方面，用来发现异常检测是数据挖掘中一个重要方面，用来发现异常检测是数据挖掘中一个重要方面，用来发现” ”小的模小的模小的模小的模式式式式”(”(相对于聚类相对于聚类相对于聚类相对于聚类) )，即数据集中间显著不同于其它数据的，即数据集中间显著不同于其它数据的，即数据集中间显著不同于其它数据的，即数据集中间显著不同于其它数据的对象。对象。对象。对象。l l异常探测应用异常探测应用异常探测应用异常
10、探测应用电信和信用卡欺骗电信和信用卡欺骗电信和信用卡欺骗电信和信用卡欺骗贷款审批贷款审批贷款审批贷款审批药物研究药物研究药物研究药物研究气象预报气象预报气象预报气象预报金融领域金融领域金融领域金融领域客户分类客户分类客户分类客户分类网络入侵检测网络入侵检测网络入侵检测网络入侵检测故障检测与诊断等故障检测与诊断等故障检测与诊断等故障检测与诊断等 什么是异常（什么是异常（outlier）？）？l lHawkins(1980)Hawkins(1980)给出了异常的本质性的定义：给出了异常的本质性的定义：给出了异常的本质性的定义：给出了异常的本质性的定义：异常是在数异常是在数异常是在数异常是在数据集中
11、与众不同的数据，使人怀疑这些数据并非随机偏据集中与众不同的数据，使人怀疑这些数据并非随机偏据集中与众不同的数据，使人怀疑这些数据并非随机偏据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。差，而是产生于完全不同的机制。差，而是产生于完全不同的机制。差，而是产生于完全不同的机制。l l 聚类算法对异常的定义：聚类算法对异常的定义：聚类算法对异常的定义：聚类算法对异常的定义：异常是聚类嵌于其中的背景噪异常是聚类嵌于其中的背景噪异常是聚类嵌于其中的背景噪异常是聚类嵌于其中的背景噪声。声。声。声。l l异常检测算法对异常的定义：异常检测算法对异常的定义：异常检测算法对异常的
12、定义：异常检测算法对异常的定义：异常是既不属于聚类也不异常是既不属于聚类也不异常是既不属于聚类也不异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不属于背景噪声的点。他们的行为与正常的行为有很大不属于背景噪声的点。他们的行为与正常的行为有很大不属于背景噪声的点。他们的行为与正常的行为有很大不同。同。同。同。异常检测方法的分类异常检测方法的分类l基于统计（基于统计（基于统计（基于统计（statistical-based)statistical-based)的方法的方法的方法的方法l基于距离基于距离基于距离基于距离 (distance-based) (distance-base
13、d)的方法的方法的方法的方法l基于偏差基于偏差基于偏差基于偏差(deviation-based)(deviation-based)的方法的方法的方法的方法l基于密度基于密度基于密度基于密度(density-based)(density-based)的方法的方法的方法的方法l高维数据的异常探测高维数据的异常探测高维数据的异常探测高维数据的异常探测数据挖掘系统的特征数据挖掘系统的特征数据的特征数据的特征知识的特征知识的特征算法的特征算法的特征矿山（数据）挖掘工具（算法）金子（知识）数据的特征数据的特征大容量大容量 POSPOS数据（某个超市每天要处理高达数据（某个超市每天要处理高达20002000
14、万笔交万笔交易）易） 卫星图象（卫星图象（NASANASA的地球观测卫星以每小时的地球观测卫星以每小时50GB50GB的速度发回数据）的速度发回数据） 互联网数据互联网数据含噪音（不完全、不正确）含噪音（不完全、不正确）异质数据（多种数据类型混合的数据源，来异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）自互联网的数据是典型的例子）系统的特征系统的特征知识发现系统需要一个前处理过程知识发现系统需要一个前处理过程 数据抽取数据抽取 数据清洗数据清洗 数据选择数据选择 数据转换数据转换知识发现系统是一个自动知识发现系统是一个自动/ /半自动过程半自动过程知识发现系统要有很好的性能
15、知识发现系统要有很好的性能知识（模式）的特征知识（模式）的特征知识发现系统能够发现什么知识？知识发现系统能够发现什么知识？计算学习理论计算学习理论COLTCOLT（Computational Learning Computational Learning TheoryTheory）以以FOLFOL为基础的以发现关系为目的的归纳逻辑程序设计为基础的以发现关系为目的的归纳逻辑程序设计现行的知识发现系统只能发现特定模式的知识现行的知识发现系统只能发现特定模式的知识规则规则分类分类关联关联知识表示：规则知识表示：规则IF IF 条件条件 THEN THEN 结论结论条件和结论的粒度（抽象度）可以有多种
16、条件和结论的粒度（抽象度）可以有多种单值单值区间区间模糊值模糊值规则可以有确信度规则可以有确信度精确规则精确规则概率规则概率规则知识表示：分类树知识表示：分类树分类条件1分类条件2分类条件3类1类2类3类4数据挖掘算法的特征数据挖掘算法的特征构成数据挖掘算法的三要素构成数据挖掘算法的三要素模式记述语言：反映了算法可以发现什么样的知模式记述语言：反映了算法可以发现什么样的知识识模式评价：反映了什么样的模式可以称为知识模式评价：反映了什么样的模式可以称为知识模式探索：包括针对某一特定模式对参数空间的模式探索：包括针对某一特定模式对参数空间的探索和对模式空间的探索探索和对模式空间的探索数据挖掘的主要方法数据挖掘的主要方法分类（分类（ClassificationClassification）聚类聚类(Clustering)(Clustering)相关规则相关规则(Association Rule)(Association Rule)回归回归(Regression)(Regression)其他其他数据挖掘系统数据挖掘系统代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型
