UNIT8数据挖掘的概念.ppt

《UNIT8数据挖掘的概念.ppt》由会员分享，可在线阅读，更多相关《UNIT8数据挖掘的概念.ppt（62页珍藏版）》请在金锄头文库上搜索。

1、UNIT eightUNIT eight数据挖掘的概念数据挖掘的概念1学完本讲后，你应该能够了解：1.数据挖掘是一门交叉学科;2.数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。3.数据挖掘产生的内容(或知识)包括广义知识、关联知识、分类知识、预测型知识、偏差型知识等4.挖掘的数据对象是多样的,可以是关系数据库、数据仓库、高级数据库、flat文件和WWW等5.数据挖掘的常用技术包括人工神经网络、决策树、遗传算法、近邻算法、规则推导等本 讲 主 要 目 标2一数据挖掘技术的由来一数据挖掘技术的由来二数据挖

2、掘的定义二数据挖掘的定义三数据挖掘研究内容和本质三数据挖掘研究内容和本质四在何种数据上进行数据挖掘四在何种数据上进行数据挖掘五五. . 数据挖掘的功能数据挖掘的功能六六. . 所有模式都是有用的吗所有模式都是有用的吗? ?七七. . 数据挖掘系统的分类数据挖掘系统的分类八八. . 数据挖掘常用技术数据挖掘常用技术九九. . 数据挖掘工具数据挖掘工具十十. . 数据挖掘的热点和主要问题数据挖掘的热点和主要问题3数据挖掘技术数据挖掘技术的由来的由来4数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来1.信息技术的下一个技术热点大量信息在给人们带来方便的同时也带来了一大堆问题：u第一是信息过量，难

3、以消化；u第二是信息真假难以辨识；u第三是信息安全难以保证；u第四是信息形式不一致，难以统一处理。5数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来1.信息技术的下一个技术热点u人们开始提出一个新的口号：“要学会抛弃信息”u人们开始考虑：“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？”u面对这一挑战，数据挖掘和知识发现（Data Mining and Knowledge Discovery）技术应运而生，并显示出强大的生命力 6数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来2.数据爆炸但知识贫乏u随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数

4、据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。u数据的丰富带来了对强有力的数据分析工具的需求，快速增长的海量数据、存放在大型和大量数据库中，没有强有力的工具，理解这些数据已远远超出了人的能力7数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来2.数据爆炸但知识贫乏8数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来2.数据爆炸但知识贫乏目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的

5、现象。9数据挖掘数据挖掘数据库越来越大数据库越来越大可怕的数据可怕的数据有价值的知识有价值的知识10数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来3.支持数据挖掘技术的基础数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。u现在数据挖掘技术在商业应用中已经可以马上投入使用，因为对这种技术进行支持的三种基础技术已经发展成熟：u海量数据搜集u强大的多处理器计算机u数据挖掘算法 11数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来4.数据挖掘的演变过程u数据挖掘其实是一个逐渐演变的过程数据挖掘其实是一个逐渐演变的过程, ,电子数据处理电子数据处理的的初期初期, ,人们就试图通过某些方

6、法来实现自动决策支持。人们就试图通过某些方法来实现自动决策支持。u当当机器学习机器学习成为人们关心的焦点成为人们关心的焦点. .机器学习的过程就是机器学习的过程就是将一些已知的并已被成功解决的问题作为范例输入计算将一些已知的并已被成功解决的问题作为范例输入计算机机, ,机器通过学习这些范例总结并生成相应的规则机器通过学习这些范例总结并生成相应的规则, ,这些这些规则具有通用性规则具有通用性, ,使用它们可以解决某一类的问题使用它们可以解决某一类的问题. .u随着随着神经网络神经网络技术的形成和发展技术的形成和发展, ,人们的注意力转向知人们的注意力转向知识工程识工程, ,知识工程知识工程不同于

7、机器学习那样给计算机输入范不同于机器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机输入已被代码例，让它生成出规则，而是直接给计算机输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问化的规则，而计算机是通过使用这些规则来解决某些问题。专家系统就是这种方法所得到的成果，但它有投资题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚理想等不足。大、效果不甚理想等不足。12数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来4.数据挖掘的演变过程u8080年代又在新的神经网络理论的指导下，年代又在新的神经网络理论的指导下，重新回到机器学习的方法上，并将其成果重新回到机器学

8、习的方法上，并将其成果应用于处理大型商业数据库。随着在应用于处理大型商业数据库。随着在8080年年代末一个新的术语，即代末一个新的术语，即数据库中的知识发数据库中的知识发现现，简称，简称KDD(KnowledgeKDD(Knowledge discovery in discovery in database).database).它泛指所有从源数据中发掘模它泛指所有从源数据中发掘模式或联系的方法，人们接受了这个术语，式或联系的方法，人们接受了这个术语，并用并用KDDKDD来描述整个数据发掘的过程，包来描述整个数据发掘的过程，包括最开始的制定业务目标到最终的结果分括最开始的制定业务目标到最终的结

9、果分析，而用数据挖掘（析，而用数据挖掘（data miningdata mining）来描）来描述使用挖掘算法进行数据挖掘的子过程述使用挖掘算法进行数据挖掘的子过程。13数数 据据 挖挖 掘掘 技技 术术 的的 由由 来来4.数据挖掘的演变过程u最近人们却逐渐开始使用数据挖掘中有许最近人们却逐渐开始使用数据挖掘中有许多工作可以由多工作可以由统计方法统计方法来完成，并认为最来完成，并认为最好的策略是将统计方法与数据挖掘有机的好的策略是将统计方法与数据挖掘有机的结合起来。结合起来。u数据仓库数据仓库技术的发展与数据挖掘有着密切技术的发展与数据挖掘有着密切的关系。数据仓库的发展是促进数据挖掘的关系。

10、数据仓库的发展是促进数据挖掘越来越热的原因之一。但是，数据仓库并越来越热的原因之一。但是，数据仓库并不是数据挖掘的先决条件，因为有很多数不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息据挖掘可直接从操作数据源中挖掘信息 14数据挖掘数据挖掘的定义的定义15数数 据据 挖挖 掘掘 的的 定定 义义1.技术上的定义及含义u简单地说，数据挖掘是从大量数据中提取或挖掘知识。u数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。u与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。这个定义

11、包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。16数数 据据 挖挖 掘掘 的的 定定 义义1.技术上的定义及含义u何为知识?从广义上理解，数据、信息也是知识的表现形式，但是人们更把概念、规则、模式、规律和约束等看作知识。人们把数据看作是形成知识的源泉，好像从矿石中采矿或淘金一样。 u原始数据可以是结构化的，如关系数据库中的数据；可以是半结构化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。u发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归

12、纳的。17数数 据据 挖挖 掘掘 的的 定定 义义1.技术上的定义及含义u发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。u因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。在这种需求牵引下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴的研究领域，形成新的技术热点。18数数 据据 挖挖 掘掘 的的 定定 义义1.技术上的定义及含义u这里所说的知识发现，不是要求发现放之四海而皆准的真理，也不是要去发现崭新的自

13、然科学定理和纯数学公式，更不是什么机器定理证明。u实际上，所有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还要能够易于被用户理解。最好能用自然语言表达所发现的结果 19数数 据据 挖挖 掘掘 的的 定定 义义2.知识发现的过程A.确定业务对象B.数据准备C.数据挖掘D.结果分析E.知识同化 20数数 据据 挖挖 掘掘 的的 定定 义义2.知识发现的过程知识发现过程中各步骤的大体内容如下:A.确定业务对象清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的.21

14、数数 据据 挖挖 掘掘 的的 定定 义义2.知识发现的过程B.数据准备数据的选择：搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据.数据的预处理（包括数据清理和数据集成）：研究数据的质量,为进一步的分析作准备.并确定将要进行的挖掘操作的类型.数据的转换：将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的.建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键.22数数 据据 挖挖 掘掘 的的 定定 义义2.知识发现的过程C 数据挖掘：对所得到的经过转换的数据进行挖掘.除了完善从选择合适的挖掘算法外,其余一切工作都能自动地完成.D 结果分析：解释并评估结果

15、.其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术.E 知识的同化：将分析所得到的知识集成到业务信息系统的组织结构中去 23数数 据据 挖挖 掘掘 的的 定定 义义3.3.数据挖掘与传统分析方法的区别数据挖掘与传统分析方法的区别u数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.u先前未知的信息是指该信息是预先未曾预料到的,既数据挖掘是要发现那些不能靠直觉发现的信息或知识,甚至是违背直觉的信息或知识,挖掘出的信息越是出乎意料,就可能越有价值.u在商业应用中

16、最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系. 24数据挖掘的数据挖掘的研究内容和本质研究内容和本质25数数据据挖挖掘掘的的研研究究内内容容和和本本质质随着随着DMKDDMKD研究逐步走向深入，数据挖掘和研究逐步走向深入，数据挖掘和知识发现的研究已经形成了三根强大的技知识发现的研究已经形成了三根强大的技术支柱：数据库、人工智能和数理统计。术支柱：数据库、人工智能和数理统计。目前目前DMKDDMKD的主要研究内容包括基础理论、的主要研究内容包括基础理论、发现算法、数据仓库、可视化技术、定性发现算法、数据仓库、可视化技术、定性定量互换模型、知识表示方法、发现知识定量

17、互换模型、知识表示方法、发现知识的维护和再利用、半结构化和非结构化数的维护和再利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。据中的知识发现以及网上数据挖掘等。26数数据据挖挖掘掘的的研研究究内内容容和和本本质质u数据挖掘所发现的知识最常见的有以下几数据挖掘所发现的知识最常见的有以下几类：类：u广义知识（广义知识（GeneralizationGeneralization）u关联知识（关联知识（AssociationAssociation）u分类知识分类知识(Classification(ClassificationClustering)Clustering)u预测型知识（预测型知识

18、（PredictionPrediction）u偏差型知识偏差型知识(Deviation)(Deviation) 27数数据据挖挖掘掘的的研研究究内内容容和和本本质质1.广义知识广义知识指类别特征的概括性描述知识。广义知识指类别特征的概括性描述知识。根据数据的微观特性发现其表征的、带有根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观普遍性的、较高层次概念的、中观和宏观的知识，反映同类事物共同性质，是对数的知识，反映同类事物共同性质，是对数据的概括、精炼和抽象。据的概括、精炼和抽象。28数数据据挖挖掘掘的的研研究究内内容容和和本本质质2.关联知识它反映一个事件和其他事件之间

19、依赖或关它反映一个事件和其他事件之间依赖或关联的知识。如果两项或多项属性之间存在联的知识。如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据关联，那么其中一项的属性值就可以依据其他属性值进行预测。其他属性值进行预测。 29数数据据挖挖掘掘的的研研究究内内容容和和本本质质3.3.分类知识分类知识它反映同类事物共同性质的特征型知识和不同事物之间它反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识。最为典型的分类方法是基于决策树的差异型特征知识。最为典型的分类方法是基于决策树的分类方法。它是从实例集中构造决策树，是一种有指的分类方法。它是从实例集中构造决策树，是一种有指导的学

20、习方法。该方法先根据训练子集（又称为窗口）导的学习方法。该方法先根据训练子集（又称为窗口）形成决策树。如果该树不能对所有对象给出正确的分类，形成决策树。如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到窗口中，重复该过程一直到形那么选择一些例外加入到窗口中，重复该过程一直到形成正确的决策集。最终结果是一棵树，其叶结点是类名，成正确的决策集。最终结果是一棵树，其叶结点是类名，中间结点是带有分枝的属性，该分枝对应该属性的某一中间结点是带有分枝的属性，该分枝对应该属性的某一可能值。可能值。30数数据据挖挖掘掘的的研研究究内内容容和和本本质质4.4.预测型知识预测型知识根据时间序列型数据，由

21、历史的和当前的根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识。时间为关键属性的关联知识。31数数据据挖挖掘掘的的研研究究内内容容和和本本质质5.偏差型知识(Deviation)(Deviation)它是对差异和极端特例的描述，揭示事物偏离它是对差异和极端特例的描述，揭示事物偏离常规的异常现象，如标准类外的特例，数据聚常规的异常现象，如标准类外的特例，数据聚类外的离群值等。所有这些知识都可以在不同类外的离群值等。所有这些知识都可以在不同的概念层次上被发现，并随着概念层次的提升，的概念层次上被发现，并随着概念层次

22、的提升，从微观到中观、到宏观，以满足不同用户不同从微观到中观、到宏观，以满足不同用户不同层次决策的需要层次决策的需要6.6.孤立点数据分析、欺骗检测等孤立点数据分析、欺骗检测等32在何种数据上在何种数据上进行数据挖掘进行数据挖掘33在在何何种种数数据据上上进进行行数数据据挖挖掘掘原则上讲，DM可以在任何类型的信息存储上进行.包括:u关系数据库u数据仓库u高级数据库u面向对象的数据库u对象-关系数据库u空间数据库u时间数据库和时间序列数据库u文本数据库和多媒体数据库u异种数据库和遗产数据库uflat文件uWWW34数据挖掘数据挖掘的功能的功能35数数 据据 挖挖 掘掘 的的 功功 能能数据挖掘功

23、能用于指定数据挖掘任务中要找的数据挖掘功能用于指定数据挖掘任务中要找的模式类型。数据挖掘任务有两类：描述和预测模式类型。数据挖掘任务有两类：描述和预测. .描述性挖掘任务刻画数据库中数据的一般特性；描述性挖掘任务刻画数据库中数据的一般特性；预测性数据挖掘任务在当前数据上进行推断、预测性数据挖掘任务在当前数据上进行推断、预测预测. .u概念描述概念描述u关联分析关联分析u自动预测趋势和行为自动预测趋势和行为u聚类聚类u偏差检测偏差检测36数数 据据 挖挖 掘掘 的的 功功 能能1.概念描述u概念描述就是对某类对象的内涵进行描述，概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。并概

24、括这类对象的有关特征。u概念描述分为特征性描述和区别性描述，概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述前者描述某类对象的共同特征，后者描述不同类对象之间的区别。不同类对象之间的区别。u生成一个类的特征性描述只涉及该类对象生成一个类的特征性描述只涉及该类对象中所有对象的共性。中所有对象的共性。u生成区别性描述的方法很多，如决策树方生成区别性描述的方法很多，如决策树方法、遗传算法等法、遗传算法等 37数数 据据 挖挖 掘掘 的的 功功 能能2.关联分析u数据关联是数据库中存在的一类重要的可被发数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间

25、存在现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。的，因此关联分析生成的规则带有可信度。u关联分析发现关联规则，这些规则展示属性值关联分析发现关联规则，这些规则展示属性值频繁地在给定数据集中一起出现的条件。频繁地在给定数据集中一起出现的条件。38数

26、数 据据 挖挖 掘掘 的的 功功 能能3.自动预测趋势和行动数据挖掘自动在大型数据库中寻找预测性数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题，数据挖一个典型的例子是市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能包括预报破产以及认定对指定事件最可能作出反应的群体。作出反应的群体。39

27、数数 据据 挖挖 掘掘 的的 功功 能能4.4.聚类聚类数据库中的记录可被化分为一系列有意义数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识决条件。聚类技术主要包括传统的模式识别方法和数学分类学。别方法和数学分类学。u聚类分析与分类和预测的区别：聚类分析聚类分析与分类和预测的区别：聚类分析数据对象，而不考虑已知的类标记。数据对象，而不考虑已知的类标记。40数数 据据 挖挖 掘掘 的的 功功 能能4.聚类41数数 据据 挖挖 掘掘

28、 的的 功功 能能5.偏差检测数据库中的数据常有一些异常记录，从数数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值测的基本方法是，寻找观测结果与参照值之间有意义的差别。之间有意义的差别。42所有模式都是所有模式都是有用的吗有用的吗? ?43所所有有模模式式都都是是有有用用的的吗吗 ? ?

29、u所有的模式都是有趣的吗？所有的模式都是有趣的吗？u什么样的模式是有趣的？什么样的模式是有趣的？u数据挖掘系统能产生所有有趣的模式吗？数据挖掘系统能产生所有有趣的模式吗？u数据挖掘系统能仅产生有趣模式吗？数据挖掘系统能仅产生有趣模式吗？44数据挖掘系统数据挖掘系统的分类的分类45数数 据据 挖挖 掘掘 系系 统统 的的 分分 类类数据挖掘系统是一个多学科交叉融合领域 正由于源于多学科，数据挖掘研究产生了大量的、各种不同类型的数据挖掘系统，按不同的标准，数据挖掘系统可分为u根据挖掘的数据库类型分类u根据挖掘的知识类型分类u根据所用的挖掘技术分类u根据应用分类46数据挖掘数据挖掘常用技术常用技术4

30、7数数 据据 挖挖 掘掘 常常 用用 技技 术术u人工神经网络人工神经网络仿照生理神经网络结构的非线形预测模型，通过仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。学习进行模式识别。u决策树决策树: : 代表着决策集的树形结构。代表着决策集的树形结构。u遗传算法遗传算法基于进化理论，并采用遗传结合、遗传变异、以基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。及自然选择等设计方法的优化技术。u近邻算法近邻算法将数据集合中每一个记录进行分类的方法。将数据集合中每一个记录进行分类的方法。u规则推导规则推导从统计意义上对数据中的从统计意义上对数据中的“如果如果-

31、-那么那么”规则进规则进行寻找和推导。行寻找和推导。48数数 据据 挖挖 掘掘 常常 用用 技技 术术 采用上述技术的某些专门的分析工具已经采用上述技术的某些专门的分析工具已经发展了大约十年的历史，不过这些工具所发展了大约十年的历史，不过这些工具所面对的数据量通常较小。而现在这些技术面对的数据量通常较小。而现在这些技术已经被直接集成到许多大型的工业标准的已经被直接集成到许多大型的工业标准的数据仓库和联机分析系统中去了。数据仓库和联机分析系统中去了。49数据挖掘数据挖掘工具工具50数数据据挖挖掘掘工工具具常用的数据挖掘工具包括常用的数据挖掘工具包括: :u基于神经网络的工具基于神经网络的工具u基

32、于规则和决策树的工具基于规则和决策树的工具u基于模糊逻辑的工具基于模糊逻辑的工具u综合多方法工具综合多方法工具51数数据据挖挖掘掘工工具具1.基于神经网络的工具基于神经网络的工具由于对非线性数据的快速建模能力，基由于对非线性数据的快速建模能力，基于神经网络的数据挖掘工具现在越来越流于神经网络的数据挖掘工具现在越来越流行。其开采过程基本上是将数据聚类，然行。其开采过程基本上是将数据聚类，然后分类计算权值。神经网络很适合非线性后分类计算权值。神经网络很适合非线性数据和含噪声数据，所以在市场数据库的数据和含噪声数据，所以在市场数据库的分析和建模方面应用广泛。分析和建模方面应用广泛。52数数据据挖挖掘

33、掘工工具具2.基于规则和决策树的工具基于规则和决策树的工具大部分数据挖掘工具采用规则发现或决大部分数据挖掘工具采用规则发现或决策树分类技术来发现数据模式和规则，其策树分类技术来发现数据模式和规则，其核心是某种归纳算法。这类工具通常是对核心是某种归纳算法。这类工具通常是对数据库的数据进行开采，生产规则和决策数据库的数据进行开采，生产规则和决策树，然后对新数据进行分析和预测。这类树，然后对新数据进行分析和预测。这类工具的主要优点是，规则和决策树都是可工具的主要优点是，规则和决策树都是可读的。读的。53数数据据挖挖掘掘工工具具3.3.基于模糊逻辑的工具基于模糊逻辑的工具其发现方法是应用模糊逻辑进行数

34、据查其发现方法是应用模糊逻辑进行数据查询、排序等。该工具使用模糊概念和询、排序等。该工具使用模糊概念和“最最近近”搜索技术的数据查询工具，它可以让搜索技术的数据查询工具，它可以让用户指定目标，然后对数据库进行搜索，用户指定目标，然后对数据库进行搜索，找出接近目标的所有记录，并对结果进行找出接近目标的所有记录，并对结果进行评估。评估。54数数据据挖挖掘掘工工具具4.4.综合多方法工具综合多方法工具 不少数据挖掘工具采用了多种开采方法，不少数据挖掘工具采用了多种开采方法，这类工具一般规模较大，适于大型数据库这类工具一般规模较大，适于大型数据库包括并行数据库。这类工具开采能力很强，包括并行数据库。这

35、类工具开采能力很强，但价格昂贵，并要花很长时间进行学习。但价格昂贵，并要花很长时间进行学习。55数据挖掘数据挖掘的热点和主要问题的热点和主要问题56数数据据挖挖掘掘的的热热点点和和主主要要问问题题就目前来看，将来的几个热点包括就目前来看，将来的几个热点包括: :u网站的数据挖掘网站的数据挖掘miningmining）u生物信息或基因的数据挖掘生物信息或基因的数据挖掘u文本的数据挖掘文本的数据挖掘57数数据据挖挖掘掘的的热热点点和和主主要要问问题题1.1.网站的数据挖掘（网站的数据挖掘（Web site data miningWeb site data mining）需求需求: : 随着随着We

36、bWeb技术的发展，各类电子商务网站风起云涌，技术的发展，各类电子商务网站风起云涌，建立起一个电子商务网站并不困难，困难的是如何让您建立起一个电子商务网站并不困难，困难的是如何让您的电子商务网站有效益。要想有效益就必须吸引客户，的电子商务网站有效益。要想有效益就必须吸引客户，增加能带来效益的客户忠诚度。电子商务业务的竞争比增加能带来效益的客户忠诚度。电子商务业务的竞争比传统的业务竞争更加激烈，原因有很多方面，其中一个传统的业务竞争更加激烈，原因有很多方面，其中一个因素是客户从一个电子商务网站转换到竞争对手那边，因素是客户从一个电子商务网站转换到竞争对手那边，只需点击几下鼠标即可。网站的内容和层

37、次、用词、标只需点击几下鼠标即可。网站的内容和层次、用词、标题、奖励方案、服务等任何一个地方都有可能成为吸引题、奖励方案、服务等任何一个地方都有可能成为吸引客户、同时也可能成为失去客户的因素。而同时电子商客户、同时也可能成为失去客户的因素。而同时电子商务网站每天都可能有上百万次的在线交易，生成大量的务网站每天都可能有上百万次的在线交易，生成大量的记录文件（记录文件（LogfilesLogfiles）和登记表，如何对这些数据进行）和登记表，如何对这些数据进行分析和挖掘，充分了解客户的喜好、购买模式，甚至是分析和挖掘，充分了解客户的喜好、购买模式，甚至是客户一时的冲动，设计出满足于不同客户群体需要

38、的个客户一时的冲动，设计出满足于不同客户群体需要的个性化网站，进而增加其竞争力，几乎变得势在必行。若性化网站，进而增加其竞争力，几乎变得势在必行。若想在竞争中生存进而获胜，就要比您的竞争对手更了解想在竞争中生存进而获胜，就要比您的竞争对手更了解客户。客户。58数数据据挖挖掘掘的的热热点点和和主主要要问问题题u电子商务网站数据挖掘电子商务网站数据挖掘 在对网站进行数据挖掘时，所需要的数据主要来自在对网站进行数据挖掘时，所需要的数据主要来自于两个方面：一方面是客户的背景信息，此部分信息主于两个方面：一方面是客户的背景信息，此部分信息主要来自于客户的登记表；而另外一部分数据主要来自浏要来自于客户的登

39、记表；而另外一部分数据主要来自浏览者的点击流（览者的点击流（Click-streamClick-stream），此部分数据主要用于），此部分数据主要用于考察客户的行为表现。但有的时候，客户对自己的背景考察客户的行为表现。但有的时候，客户对自己的背景信息十分珍重，不肯把这部分信息填写在登记表上，这信息十分珍重，不肯把这部分信息填写在登记表上，这就会给数据分析和挖掘带来不便。在这种情况之下，就就会给数据分析和挖掘带来不便。在这种情况之下，就不得不从浏览者的表现数据中来推测客户的背景信息，不得不从浏览者的表现数据中来推测客户的背景信息，进而再加以利用。进而再加以利用。 就分析和建立模型的技术和算法而

40、言，网站的数据就分析和建立模型的技术和算法而言，网站的数据挖掘和原来的数据挖掘差别并不是特别大，很多方法和挖掘和原来的数据挖掘差别并不是特别大，很多方法和分析思想都可以运用。所不同的是网站的数据格式有很分析思想都可以运用。所不同的是网站的数据格式有很大一部分来自于点击流，和传统的数据库格式有区别。大一部分来自于点击流，和传统的数据库格式有区别。因而对电子商务网站进行数据挖掘所做的主要工作是数因而对电子商务网站进行数据挖掘所做的主要工作是数据准备。目前，有很多厂商正在致力于开发专门用于网据准备。目前，有很多厂商正在致力于开发专门用于网站挖掘的软件。站挖掘的软件。59数数据据挖挖掘掘的的热热点点和

41、和主主要要问问题题2.2.生物信息或基因的数据挖掘生物信息或基因的数据挖掘 生物信息或基因数据挖掘则完全属于另外一个领域，生物信息或基因数据挖掘则完全属于另外一个领域，在商业上很难讲有多大的价值，但对于人类却受益非浅。在商业上很难讲有多大的价值，但对于人类却受益非浅。例如，基因的组合千变万化，得某种病的人的基因和正例如，基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因？这都进而对其不同之处加以改变，使之成为正常基因？这都需要数据挖掘技术的支持。需要数据挖掘技术的支

42、持。 对于生物信息或基因的数据挖掘和通常的数据挖掘对于生物信息或基因的数据挖掘和通常的数据挖掘相比，无论在数据的复杂程度、数据量还有分析和建立相比，无论在数据的复杂程度、数据量还有分析和建立模型的算法而言，都要复杂得多。从分析算法上讲，更模型的算法而言，都要复杂得多。从分析算法上讲，更需要一些新的和好的算法。现在很多厂商正在致力于这需要一些新的和好的算法。现在很多厂商正在致力于这方面的研究。但就技术和软件而言，还远没有达到成熟方面的研究。但就技术和软件而言，还远没有达到成熟的地步。的地步。60数数据据挖挖掘掘的的热热点点和和主主要要问问题题3.3.文本的数据挖掘（文本的数据挖掘（Textual

43、 miningTextual mining） 人们很关心的另外一个话题是文本数据挖掘。举个例人们很关心的另外一个话题是文本数据挖掘。举个例子，在客户服务中心，把同客户的谈话转化为文本数据，子，在客户服务中心，把同客户的谈话转化为文本数据，再对这些数据进行挖掘，进而了解客户对服务的满意程再对这些数据进行挖掘，进而了解客户对服务的满意程度和客户的需求以及客户之间的相互关系等信息。从这度和客户的需求以及客户之间的相互关系等信息。从这个例子可以看出，无论是在数据结构还是在分析处理方个例子可以看出，无论是在数据结构还是在分析处理方法方面，文本数据挖掘和前面谈到的数据挖掘相差很大。法方面，文本数据挖掘和前

44、面谈到的数据挖掘相差很大。文本数据挖掘并不是一件容易的事情，尤其是在分析方文本数据挖掘并不是一件容易的事情，尤其是在分析方法方面，还有很多需要研究的专题。目前市场上有一些法方面，还有很多需要研究的专题。目前市场上有一些类似的软件，但大部分方法只是把文本移来移去，或简类似的软件，但大部分方法只是把文本移来移去，或简单地计算一下某些词汇的出现频率，并没有真正的分析单地计算一下某些词汇的出现频率，并没有真正的分析功能。功能。 随着计算机计算能力的发展和业务复杂性的提高，数随着计算机计算能力的发展和业务复杂性的提高，数据的类型会越来越多、越来越复杂，数据挖掘将发挥出据的类型会越来越多、越来越复杂，数据挖掘将发挥出越来越大的作用。越来越大的作用。61学完本讲后，你应该能够了解：1.数据挖掘是一门交叉学科;2.数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。3.数据挖掘产生的内容(或知识)包括广义知识、关联知识、分类知识、预测型知识、偏差型知识等4.挖掘的数据对象是多样的,可以是关系数据库、数据仓库、高级数据库、flat文件和WWW等5.数据挖掘的常用技术包括人工神经网络、决策树、遗传算法、近邻算法、规则推导等本 讲 主 要 目 标62