数据挖掘(偶然看到比较好的)课件

《数据挖掘(偶然看到比较好的)课件》由会员分享，可在线阅读，更多相关《数据挖掘(偶然看到比较好的)课件（177页珍藏版）》请在金锄头文库上搜索。

1、工业控制技术研究所,自动化前沿,第四讲 数据挖掘技术及其应用 宋执环 浙江大学工业控制研究所,控制科学与工程学系 研究生课程,工业控制技术研究所,主要内容,数据挖掘概述 数据预处理 数据挖掘算法分类与预测 数据挖掘算法聚类 数据挖掘算法关联分析 序列模式挖掘 数据挖掘软件 数据挖掘应用,工业控制技术研究所,一、数据挖掘概述,工业控制技术研究所,数据挖掘概念,数据挖掘-从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构； 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。,数据挖掘与KDD,工业控制技术研

2、究所,数据挖掘与KDD,知识发现（KD） 输出的是规则 数据挖掘（DM） 输出的是模型 共同点 两种方法输入的都是学习集（learning sets） 目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化，只能半自动化,工业控制技术研究所,数据挖掘的社会需求,国民经济和社会的信息化,社会信息化后，社会的运转是软件的运转 社会信息化后，社会的历史是数据的历史,工业控制技术研究所,数据挖掘的社会需求,有价值的知识,可怕的数据,工业控制技术研究所,数据挖掘的社会需求,数据爆炸，知识贫乏,工业控制技术研究所,数据挖掘的发展,1989 IJCAI会议： 数据库中的知识发现讨论专题 Know

3、ledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) 1991-1994 KDD讨论专题 Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) 1995-1998 KDD国际会议 (KDD95-98) Journal of Data Mining and Knowledge Discovery (1997) 1998 ACM

4、SIGKDD, SIGKDD1999-2002 会议,以及SIGKDD Explorations 数据挖掘方面更多的国际会议 PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc.,工业控制技术研究所,数据挖掘技术,技术分类 预言（Predication）：用历史预测未来 描述（Description）：了解数据中潜在的规律 数据挖掘技术 关联分析 序列模式 分类（预言） 聚集 异常检测,工业控制技术研究所,异常检测,异常检测是数据挖掘中一个重要方面，用来发现”小的模式”(相对于聚类)，即数据集中间显著不同于其它数据的对

5、象。 异常探测应用 电信和信用卡欺骗 贷款审批 药物研究 气象预报 金融领域 客户分类 网络入侵检测 故障检测与诊断等,工业控制技术研究所,什么是异常（outlier）？,Hawkins(1980)给出了异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。 聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。 异常检测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。,工业控制技术研究所,异常检测方法的分类,基于统计（statistical-based)的方法 基于距离 (distance-bas

6、ed)的方法 基于偏差(deviation-based)的方法 基于密度(density-based)的方法 高维数据的异常探测,工业控制技术研究所,数据挖掘系统的特征,数据的特征 知识的特征 算法的特征,矿山（数据）,挖掘工具（算法）,金子（知识）,工业控制技术研究所,数据的特征,大容量 POS数据（某个超市每天要处理高达2000万笔交易） 卫星图象（NASA的地球观测卫星以每小时50GB的速度发回数据） 互联网数据 含噪音（不完全、不正确） 异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）,工业控制技术研究所,系统的特征,知识发现系统需要一个前处理过程 数据抽取 数据清洗

7、 数据选择 数据转换 知识发现系统是一个自动/半自动过程 知识发现系统要有很好的性能,工业控制技术研究所,知识（模式）的特征,知识发现系统能够发现什么知识？ 计算学习理论COLT（Computational Learning Theory） 以FOL为基础的以发现关系为目的的归纳逻辑程序设计 现行的知识发现系统只能发现特定模式的知识 规则 分类 关联,工业控制技术研究所,知识表示：规则,IF 条件 THEN 结论 条件和结论的粒度（抽象度）可以有多种 单值 区间 模糊值 规则可以有确信度 精确规则 概率规则,工业控制技术研究所,知识表示：分类树,分类条件1,分类条件2,分类条件3,类1,类2,

8、类3,类4,工业控制技术研究所,数据挖掘算法的特征,构成数据挖掘算法的三要素 模式记述语言：反映了算法可以发现什么样的知识 模式评价：反映了什么样的模式可以称为知识 模式探索：包括针对某一特定模式对参数空间的探索和对模式空间的探索,工业控制技术研究所,数据挖掘的主要方法,分类（Classification） 聚类(Clustering) 相关规则(Association Rule) 回归(Regression) 其他,工业控制技术研究所,数据挖掘系统,工业控制技术研究所,数据挖掘系统,第一代数据挖掘系统 支持一个或少数几个数据挖掘算法，这些算法设计用来挖掘向量数据（vector-valued

9、data），这些数据模型在挖掘时候，一般一次性调进内存进行处理。许多这样的系统已经商业化。 第二代数据挖掘系统 目前的研究，是改善第一代数据挖掘系统，开发第二代数据挖掘系统。第二代数据挖掘系统支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性。例如，第二代系统能够挖掘大数据集、更复杂的数据集、以及高维数据。这一代系统通过支持数据挖掘模式（data mining schema）和数据挖掘查询语言（DMQL）增加系统的灵活性。,工业控制技术研究所,数据挖掘系统,第三代数据挖掘系统 第三代的特征是能够挖掘Internet/Extranet的分布式和高度异质的数据，并且能够有效地和操作型系

10、统集成。这一代数据挖掘系统关键的技术之一是提供对建立在异质系统上的多个预言模型以及管理这些预言模型的元数据提供第一级别（first class）的支持。 第四代数据挖掘系统 第四代数据挖掘系统能够挖掘嵌入式系统、移动系统、和普遍存在（ubiquitous）计算设备产生的各种类型的数据 。,工业控制技术研究所,二、数据预处理,工业控制技术研究所,为什么需要预处理,数据 不完整 含观测噪声 不一致 包含其它不希望的成分 数据清理通过填写空缺值，平滑噪声数据，识别删除孤立点，并解决不一致来清理数据。,工业控制技术研究所,污染数据形成的原因,滥用缩写词 数据输入错误 数据中的内嵌控制信息 不同的惯用语

11、 重复记录 丢失值 拼写变化 不同的计量单位 过时的编码 含有各种噪声,工业控制技术研究所,数据清理的重要性,污染数据的普遍存在，使得在大型数据库中维护数据的正确性和一致性成为一个及其困难的任务。 垃圾进、垃圾出,工业控制技术研究所,数据清理处理内容,格式标准化 异常数据清除 错误纠正 重复数据的清除,工业控制技术研究所,数据规约,数据集的压缩表示，但是能和原始数据集达到相同或基本相同的分析结果 主要策略: 数据聚集 维规约 数据压缩 数值规约,工业控制技术研究所,空缺值,忽略元组 人工填写空缺值 使用固定值 使用属性平均值 使用最有可能值,工业控制技术研究所,噪声数据,如何平滑数据，去掉噪声

12、 数据平滑技术 分箱 聚类 计算机和人工检查相结合 回归,工业控制技术研究所,分箱,箱的深度：表示不同的箱里有相同个数的数据。 箱的宽度：每个箱值的取值区间是个常数。 平滑方法: 按箱平均值平滑 按箱中值平滑 按箱边界值平滑,工业控制技术研究所,聚类,每个簇中的数据用其中心值代替 忽略孤立点 先通过聚类等方法找出孤立点。这些孤立点可能包含有用的信息。 人工再审查这些孤立点,工业控制技术研究所,回归,通过构造函数来符合数据变化的趋势，这样可以用一个变量预测另一个变量。 线性回归 多线性回归,工业控制技术研究所,数据集成,将多个数据源中的数据结合起来存放在一个一直得数据存贮中。 实体识别 实体和模

13、式的匹配 冗余：某个属性可以由别的属性推出。 相关分析 相关性rA,B . rA,B0,正相关。A随B的值得增大而增大 rA,B0,正相关。AB无关 rA,B0,正相关。A随B的值得增大而减少 重复 同一数据存储多次 数据值冲突的检测和处理,工业控制技术研究所,数据变换,平滑 聚集 数据概化 规范化 属性构造(特征构造),工业控制技术研究所,最小 最大规范化 小数定标规范化 属性构造 由给定的属性构造和添加新的属性，以帮助提高精度和对高维数据结构的理解,规范化,工业控制技术研究所,数据立方体聚集,寻找感兴趣的维度进行再聚集,工业控制技术研究所,维规约,删除不相关的属性（维）来减少数据量。 属性

14、子集选择 找出最小属性集合，使得数据类的概率分布尽可能地接近使用所有属性的原分布 如何选取？ 贪心算法 逐步向前选择 逐步后向删除 向前选择和后向删除相结合 判定树归纳,工业控制技术研究所,数据压缩,有损，无损 小波变换 将数据向量D转换成为数值上不同的小波系数的向量D. 对D进行剪裁，保留小波系数最强的部分。,主要成分分析,工业控制技术研究所,数值规约,回归和对数线形模型 线形回归 对数线形模型 直方图 等宽 等深 V-最优 maxDiff,工业控制技术研究所,数值规约,聚类 多维索引树 ： 对于给定的数据集合，索引树动态的划分多维空间。 选样 简单选择n个样本，不放回 简单选择n个样本，放

15、回 聚类选样 分层选样,工业控制技术研究所,离散化和概念分层,离散化技术用来减少给定连续属性的个数 通常是递归的。 大量时间花在排序上。 对于给定的数值属性，概念分层定义了该属性的一个离散化的值。 分箱 直方图分析,工业控制技术研究所,数值数据离散化,聚类分析 基于熵的离散化 通过自然划分分段 3-4-5规则 如果一个区间最高有效位上包括3 6 9 个不同的值，划分为3个等宽区间。 7个不同值，按2-3-3划分为3个区间 最高位包含2，4，8个不同值，划分为4个等宽区间 最高位包含1 ，5，10个不同值，划分为5个等宽区间 最高分层一般在第5个百分位到第95个百分位上进行,工业控制技术研究所,

16、分类数据的概念分层生成,分类数据是离散数据。一个分类属性可能有有限个不同的值。 方法 由用户和专家在模式级显式的说明属性的部分序 通过显式的数据分组说明分层结构的一部分 说明属性集，但不说明他们的偏序 只说明部分的属性集,工业控制技术研究所,三、数据挖掘算法 分类与预测,工业控制技术研究所,分类 VS. 预测,分类： 预测分类标号（或离散值） 根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据 预测： 建立连续函数值模型，比如预测空缺值 典型应用 信誉证实 目标市场 医疗诊断 性能预测,工业控制技术研究所,数据分类：两步过程,第一步，建立一个模型，描述预定数据类集和概念集 假定每个元组属于一个预定义的类，由一个类标号属性确定 基本概念 训练数据集：由为建立模型而被分析的数据元组形成 训练样本：训练数据集中的单个样本（元组） 学习模型可以用分类规则、判定树或数学公式的形式提供 第二步，使用模型，对将来的或未知的对象进行分类 首先评估模型的预测准确率 对每个测试样本，将已知的类标号和该样本的学习模型类预测比较 模型在给定测试