《数据挖掘基础展示》由会员分享，可在线阅读，更多相关《数据挖掘基础展示（59页珍藏版）》请在金锄头文库上搜索。
1、第四讲 数据挖掘技术及其应用主要内容主要内容 l l 数据挖掘概述数据挖掘概述 l l 数据预处理数据预处理 l l 数据挖掘算法分类与预测数据挖掘算法分类与预测 l l 数据挖掘算法聚类数据挖掘算法聚类 l l 数据挖掘算法关联分析数据挖掘算法关联分析 l l 序列模式挖掘序列模式挖掘 l l 数据挖掘软件数据挖掘软件 l l 数据挖掘应用数据挖掘应用一、数据挖掘概述一、数据挖掘概述数据挖掘概念数据挖掘概念l l 数据挖掘数据挖掘-从大量数据中寻找其规律的技从大量数据中寻找其规律的技 术，是统计学、数据库技术和人工智能技术，是统计学、数据库技术和人工智能技 术的综合。术的综合。 l l 数据
2、挖掘是从数据中自动地抽取模式、关联、变数据挖掘是从数据中自动地抽取模式、关联、变 化、异常和有意义的结构化、异常和有意义的结构； l l 数据挖掘大部分的价值在于利用数据挖掘技术改数据挖掘大部分的价值在于利用数据挖掘技术改 善预测模型善预测模型。数据挖掘与数据挖掘与KDDKDD数据挖掘与数据挖掘与KDDKDDl l 知识发现（知识发现（KDKD） 输出的是规则输出的是规则 l l 数据挖掘（数据挖掘（DMDM） 输出的是模型输出的是模型 l l 共同点共同点 两种方法输入的都是学习集（两种方法输入的都是学习集（learning setslearning sets） 目的都是尽可能多的自动化数据
3、挖掘过程目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化，只能半自动化数据挖掘过程并不能完全自动化，只能半自动化 数据挖掘的社会需求数据挖掘的社会需求国民经济和社会的信息化 社会信息化后，社会的运转是软件的运转社会信息化后，社会的运转是软件的运转 社会信息化后，社会的历史是数据的历史社会信息化后，社会的历史是数据的历史数据挖掘的社会需求数据挖掘的社会需求数据挖掘数据库越来越大有价值的知识可怕的数据工业控制技术研究所数据挖掘的社会需求数据挖掘的社会需求数据爆炸，知识贫乏数据爆炸，知识贫乏苦恼: 淹没在数据中 ; 不能制定合适的决策! 数据数据知识知识决策决策n模式n趋势n事实n
4、关系n模型n关联规则n序列n目标市场n资金分配n贸易选择n在哪儿做广告n销售的地理位置n金融n经济n政府nPOS.n人口统计n生命周期工业控制技术研究所数据挖掘的发展数据挖掘的发展l1989 IJCAI会议： 数据库中的知识发现讨论专题Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)l1991-1994 KDD讨论专题Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smy
5、th, and R. Uthurusamy, 1996)l1995-1998 KDD国际会议 (KDD95-98)Journal of Data Mining and Knowledge Discovery (1997)l1998 ACM SIGKDD, SIGKDD1999-2002 会议,以及SIGKDD Explorationsl数据挖掘方面更多的国际会议PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE- DM, etc.工业控制技术研究所数据挖掘技术数据挖掘技术l技术分类 预言（Predication）：用历史预测未来 描述
6、（Description）：了解数据中潜在的规律l数据挖掘技术 关联分析 序列模式 分类（预言） 聚集 异常检测工业控制技术研究所异常检测异常检测l l 异常检测是数据挖掘中一个重要方面，用来发现异常检测是数据挖掘中一个重要方面，用来发现” ”小的模小的模 式式” ”( (相对于聚类相对于聚类) )，即数据集中间显著不同于其它数据的对，即数据集中间显著不同于其它数据的对 象。象。 l l 异常探测应用异常探测应用 电信和信用卡欺骗电信和信用卡欺骗 贷款审批贷款审批 药物研究药物研究 气象预报气象预报 金融领域金融领域 客户分类客户分类 网络入侵检测网络入侵检测 故障检测与诊断等故障检测与诊断等
7、 工业控制技术研究所什么是异常（什么是异常（outlieroutlier）？）？l l Hawkins(1980)Hawkins(1980)给出了异常的本质性的定义：给出了异常的本质性的定义：异常是在异常是在 数据集中与众不同的数据，使人怀疑这些数据并非随机数据集中与众不同的数据，使人怀疑这些数据并非随机 偏差，而是产生于完全不同的机制。偏差，而是产生于完全不同的机制。 l l 聚类算法对异常的定义：聚类算法对异常的定义：异常是聚类嵌于其中的背景噪异常是聚类嵌于其中的背景噪 声。声。 l l 异常检测算法对异常的定义：异常检测算法对异常的定义：异常是既不属于聚类也不异常是既不属于聚类也不 属于
8、背景噪声的点。他们的行为与正常的行为有很大不属于背景噪声的点。他们的行为与正常的行为有很大不 同。同。工业控制技术研究所异常检测方法的分类异常检测方法的分类l l 基于统计（基于统计（statistical-based)statistical-based)的方法的方法 l l 基于距离基于距离 (distance-based)(distance-based)的方法的方法 l l 基于偏差基于偏差(deviation-based)(deviation-based)的方法的方法 l l 基于密度基于密度(density-based)(density-based)的方法的方法 l l 高维数据的异常
9、探测高维数据的异常探测工业控制技术研究所数据挖掘系统的特征数据挖掘系统的特征 数据的特征数据的特征 知识的特征知识的特征 算法的特征算法的特征矿山（数据 ）挖掘工具（算法 ）金子（知识 ）工业控制技术研究所数据的特征数据的特征 大容量大容量 POSPOS数据（某个超市每天要处理高达数据（某个超市每天要处理高达20002000万笔交万笔交 易）易） 卫星图象（卫星图象（NASANASA的地球观测卫星以每小时的地球观测卫星以每小时50GB50GB 的速度发回数据）的速度发回数据） 互联网数据互联网数据 含噪音（不完全、不正确）含噪音（不完全、不正确） 异质数据（多种数据类型混合的数据源，来异质数据
10、（多种数据类型混合的数据源，来 自互联网的数据是典型的例子）自互联网的数据是典型的例子）工业控制技术研究所系统的特征系统的特征 知识发现系统需要一个前处理过程知识发现系统需要一个前处理过程 数据抽取数据抽取 数据清洗数据清洗 数据选择数据选择 数据转换数据转换 知识发现系统是一个自动知识发现系统是一个自动/ /半自动过程半自动过程 知识发现系统要有很好的性能知识发现系统要有很好的性能工业控制技术研究所知识（模式）的特征知识（模式）的特征 知识发现系统能够发现什么知识？知识发现系统能够发现什么知识？计算学习理论计算学习理论COLTCOLT（Computational Learning Theor
11、yComputational Learning Theory ）以以FOLFOL为基础的以发现关系为目的的归纳逻辑程序设计为基础的以发现关系为目的的归纳逻辑程序设计 现行的知识发现系统只能发现特定模式的知识现行的知识发现系统只能发现特定模式的知识规则规则分类分类关联关联工业控制技术研究所知识表示：规则知识表示：规则 IF IF 条件条件 THEN THEN 结论结论 条件和结论的粒度（抽象度）可以有多种条件和结论的粒度（抽象度）可以有多种 单值单值 区间区间 模糊值模糊值 规则可以有确信度规则可以有确信度 精确规则精确规则 概率规则概率规则工业控制技术研究所知识表示：分类树知识表示：分类树分类
12、条件1分类条件2分类条件3类1类2类3类4工业控制技术研究所数据挖掘算法的特征数据挖掘算法的特征 构成数据挖掘算法的三要素构成数据挖掘算法的三要素模式记述语言：反映了算法可以发现什么样的知模式记述语言：反映了算法可以发现什么样的知 识识模式评价：反映了什么样的模式可以称为知识模式评价：反映了什么样的模式可以称为知识模式探索：包括针对某一特定模式对参数空间的模式探索：包括针对某一特定模式对参数空间的 探索和对模式空间的探索探索和对模式空间的探索工业控制技术研究所数据挖掘的主要方法数据挖掘的主要方法 分类（分类（ClassificationClassification） 聚类聚类(Clusteri
13、ng)(Clustering) 相关规则相关规则(Association Rule)(Association Rule) 回归回归(Regression)(Regression) 其他其他工业控制技术研究所数据挖掘系统数据挖掘系统代特征数据挖掘算法集成分布计算 模型数据模型第一代数据挖掘作为 一个独立的应 用支持一个或者 多个算法 独立的系 统单个机 器向量数据第二代和数据库以及 数据仓库集成多个算法：能够 挖掘一次不能放 进内存的数据数据管理系 统，包括数 据库和数据 仓库同质/局 部区域 的计算 机群集有些系统支 持对象、文 本、和连续 的媒体数据第三代和预言模型 系统集成 多个算法数据管
14、理和 预言模型系 统intranet/e xtranet网 络计算支持半结构 化数据和 web数据第四代和移动数据/ 各种计算数 据联合 多个算法数据管理、 预言模型、 移动系统移动和各 种计算设 备普遍存在 的计算模 型工业控制技术研究所数据挖掘系统数据挖掘系统l l 第一代数据挖掘系统第一代数据挖掘系统 支持一个或少数几个数据挖掘算法，这些算法设计用支持一个或少数几个数据挖掘算法，这些算法设计用 来挖掘向量数据（来挖掘向量数据（vector-valued vector-valued datadata），这些数据），这些数据 模型在挖掘时候，一般一次性调进内存进行处理。许模型在挖掘时候，一般
15、一次性调进内存进行处理。许 多这样的系统已经商业化。多这样的系统已经商业化。 l l 第二代数据挖掘系统第二代数据挖掘系统 目前的研究，是改善第一代数据挖掘系统，开发第二目前的研究，是改善第一代数据挖掘系统，开发第二 代数据挖掘系统。第二代数据挖掘系统支持数据库和代数据挖掘系统。第二代数据挖掘系统支持数据库和 数据仓库，和它们具有高性能的接口，具有高的可扩数据仓库，和它们具有高性能的接口，具有高的可扩 展性。例如，第二代系统能够挖掘大数据集、更复杂展性。例如，第二代系统能够挖掘大数据集、更复杂 的数据集、以及高维数据。这一代系统通过支持数据的数据集、以及高维数据。这一代系统通过支持数据 挖掘模式（挖掘模式（data mining schemadata mining schema）和数据挖掘查询语言）和数据挖掘查询语言 （DMQLDMQL）增加系统的灵活性。）增加系统的灵活性。 工业控制技术研究所数据挖掘系统数据挖掘系统l l 第三代数据挖掘系统第三代数据挖掘系统 第三代的特征是能够挖掘第三代的特征是能够挖掘Internet/ExtranetInternet/Extranet的分布式和的分布式和 高度异质的数据，并且能够有效地和操作型系统集成高度异质的数据，并且能够有效地和操作型系统集成 。这一代数据挖掘系统关键的技术之一是提供对建立。这一代数据挖掘系统关键的技术之一是提供对建立
