周志华：数据挖掘与机器学习-修订编选

《周志华：数据挖掘与机器学习-修订编选》由会员分享，可在线阅读，更多相关《周志华：数据挖掘与机器学习-修订编选（10页珍藏版）》请在金锄头文库上搜索。

1、机器学习与数据挖掘 周 志 华 南京大学计算机软件新技术国家重点实验室，南京 210093 “机器学习”是人工智能的核心研究领域之一， 其最初的研究动机是为了让计算机系统具有人 的学习能力以便实现人工智能，因为众所周知，没有学习能力的系统很难被认为是具有智能的。目 前被广泛采用的机器学习的定义是“利用经验来改善计算机系统自身的性能”1。事实上，由于“经 验”在计算机系统中主要是以数据的形式存在的，因此机器学习需要设法对数据进行分析，这就使 得它逐渐成为智能数据分析技术的创新源之一，并且为此而受到越来越多的关注。 “数据挖掘”和“知识发现”通常被相提并论，并在许多场合被认为是可以相互替代的术语。

2、 对数据挖掘有多种文字不同但含义接近的定义，例如“识别出巨量数据中有效的、新颖的、潜在有 用的、最终可理解的模式的非平凡过程”2。其实顾名思义，数据挖掘就是试图从海量数据中找出 有用的知识。大体上看，数据挖掘可以视为 机器学习和数据库的交叉，它主要利用机器 学习界提供的技术来分析海量数据，利用数 据库界提供的技术来管理海量数据。 因为机器学习和数据挖掘有密切的联 系，受主编之邀，本文把它们放在一起做一 个粗浅的介绍。 1 无处不在 随着计算机技术的飞速发展，人类收集数据、存储数据的能力得到了极大的提高，无论是科学 研究还是社会生活的各个领域中都积累了大量的数据，对这些数据进行分析以发掘数据中蕴

3、含的有 用信息，成为几乎所有领域的共同需求。正是在这样的大趋势下，机器学习和数据挖掘技术的作用 日渐重要，受到了广泛的关注。 例如，网络安全是计算机界的一个热门研究领域， 特别是在入侵检测方面， 不仅有很多理论成果， 还出现 了不少实用系统。 那么， 人们如何进行入侵检测呢？首 先， 人们可以通过检查服务器日志等手段来收集大量的 网络访问数据， 这些数据中不仅包含正常访问模式还包 含入侵模式。 然后， 人们就可以利用这些数据建立一个 可以很好地把正常访问模式和入侵模式分开的模型。 这 样， 在今后接收到一个新的访问模式时， 就可以利用这 个模型来判断这个模式是正常模式还是入侵模式， 甚至 判断

4、出具体是何种类型的入侵。 显然， 这里的关键问题 是如何利用以往的网络访问数据来建立可以对今后的访问模式进行分类的模型，而这正是机器学习 和数据挖掘技术的强项。 实际上，机器学习和数据挖掘技术已经开始在多媒体、计算机图形学、计算机网络乃至操作系 统、软件工程等计算机科学的众多领域中发挥作用，特别是在计算机视觉和自然语言处理领域，机 器学习和数据挖掘已经成为最流行、最热门的技术，以至于在这些领域的顶级会议上相当多的论文 都与机器学习和数据挖掘技术有关。总的来看，引入机器学习和数据挖掘技术在计算机科学的众多 分支领域中都是一个重要趋势。 机器学习和数据挖掘技术还是很多交叉学 科的重要支撑技术。例如

5、，生物信息学是一个 新兴的交叉学科，它试图利用信息科学技术来 研究从 DNA 到基因、基因表达、蛋白质、基 因电路、细胞、生理表现等一系列环节上的现 象和规律。随着人类基因组计划的实施，以及 基因药物的美好前景，生物信息学得到了蓬勃 发展。实际上，从信息科学技术的角度来看， 生物信息学的研究是一个从“数据”到“发现” 的过程，这中间包括数据获取、数据管理、数 据分析、仿真实验等环节，而“数据分析”这 个环节正是机器学习和数据挖掘技术的舞台。 正因为机器学习和数据挖掘技术的进展对计算机科学乃至整个科学技术领域都有重要意义，美 国NASA-JPL实验室的科学家 2001 年 9 月在Science

6、上专门撰文3指出，机器学习对科学研究的 整个过程正起到越来越大的支持作用，并认为该领域将稳定而快速地发 展，并将对科学技术的发展发挥更大的促进作用。NASA-JPL实验室的 全名是美国航空航天局喷气推进实验室，位于加州理工学院，是美国尖 端技术的一个重要基地，著名的“勇气”号和“机遇”号火星机器人正 是在这个实验室完成的。从目前公开的信息来看，机器学习和数据挖掘 技术在这两个火星机器人上有大量的应用。 除了在科学研究中发挥重要作用，机器学习和数据挖掘技术和普通人的生活也息息相关。例如， 在天气预报、地震预警、环境污染检测等方面，有效地利用机器学习和数据挖掘技术对卫星传递回 来的大量数据进行分析

7、，是提高预报、预警、检测准确性的重要途径；在商业营销中，对利用条形 码技术获得的销售数据进行分析，不仅可以帮助商家优化进货、库存，还可以对用户行为进行分析 以设计有针对性的营销策略；。下面再举两个例子。 公路交通事故是人类面临的最大杀手之一，全世界每年有上百万人丧生车轮，仅我国每年就有 约 10 万人死于车祸。美国一直在对自动驾驶车辆进行研究，因为自动驾驶车辆不仅在军事上有重要 意义，还对减少因酒后、疲劳而引起的车祸有重要作用。2004 年 3 月，在美国 DARPA（国防部先 进研究计划局）组织的自动驾驶车辆竞赛中，斯坦福大学的参赛车在完全无人控制的情况下，成功 地在 6 小时 53 分钟内

8、走完了 132 英里（约 212 公里）的路程，获得了冠军。比赛路段是在内华达州 西南部的山区和沙漠中，路况相当复杂，有的地方路面只有几米宽，一边是山岩，另一边是百尺深 沟，即使有丰富驾驶经验的司机，在这样的路段上行车也是一个巨大的挑战。这一结果显示出自动 2 驾驶车辆已经不再是一个梦想，可能在不久的将来就会走 进普通人的生活。值得一提的是，斯坦福大学参赛队正是 由一位机器学习专家所领导的，而获胜车辆也大量使用了 机器学习和数据挖掘技术。 Google、Yahoo、百度等互联网搜索引擎已经开始改变 了很多人的生活方式，例如很多人已经习惯于在出行前通 过网络搜索来了解旅游景点的背景知识、 寻找合

9、适的旅馆、 饭店等。美国新闻周刊曾经对 Google 有个“一句话评论” ： “它使得任何人离任何问题的答案之间的距离只有点击一下鼠标这么远” 。 现在很少有人不知道互联 网搜索引擎的用处，但可能很多人并不了解，机器学习和数 据挖掘技术正在支撑着这些搜索引擎。其实，互联网搜索引 擎是通过分析互联网上的数据来找到用户所需要的信息，而 这正是一个机器学习和数据挖掘任务。 事实上， 无论 Google、 Yahoo 还是微软，其互联网搜索研究核心团队中都有相当大 比例的人是机器学习和数据挖掘专家，而互联网搜索技术也 正是机器学习和数据挖掘目前的热门研究话题之一。 2 雄关漫道 机器学习是人工智能研究

10、发展到一定阶段的必然产物。从 20 世纪 50 年代到 70 年代初，人工智 能研究处于“推理期” ，人们认为只要给机器赋予逻辑推理能力，机器就能具有智能。这一阶段的代 表性工作主要有 A. Newell 和 H. Simon 的“逻辑理论家”程序以及此后的“通用问题求解”程序等， 这些工作在当时取得了令人振奋的成果。例如， “逻辑理论家”程序在 1952 年证明了著名数学家罗 素和怀特海的名著数学原理中的 38 条定理，在 1963 年证明了全部的 52 条定理，而且定理 2.85 甚至比罗素和怀特海证明得更巧妙。A. Newell 和 H. Simon 因此获得了 1975 年图灵奖。然而

11、，随着 研究向前发展， 人们逐渐认识到， 仅具有逻辑推理能力是远远实现不了人工智能的。 E.A. Feigenbaum 等人认为，要使机器具有智能，就必须设法使机器拥有知识。在他们的倡导下，20 世纪 70 年代中 期开始，人工智能进入了“知识期” 。在这一时期，大量专家系统问世，在很多领域做出了巨大贡献。 E.A. Feigenbaum 作为“知识工程”之父在 1994 年获得了图灵奖。但是，专家系统面临“知识工程 瓶颈” ，简单地说，就是由人来把知识总结出来再教给计算机是相当困难的。于是，一些学者想到， 如果机器自己能够学习知识该多好！ 实际上，图灵在 1950 年提出图灵测试的文章中，就

12、已经提到了机器学习的可能，而 20 世纪 50 年代其实已经开始有机器学习相关的研究工作，主要集中在基于神经网络的连接主义学习方面，代 表性工作主要有 F. Rosenblatt 的感知机、B. Widrow 的 Adaline 等。在 20 世纪 6、70 年代，多种学习 技术得到了初步发展，例如以决策理论为基础的统计学习技术以及强化学习技术等，代表性工作主 要有 A.L. Samuel 的跳棋程序以及 N.J. Nilson 的“学习机器”等，20 多年后红极一时的统计学习理 论的一些重要结果也是在这个时期取得的。在这一时期，基于逻辑或图结构表示的符号学习技术也 开始出现，代表性工作有 P

13、. Winston 的“结构学习系统” 、R.S. Michalski 等人的“基于逻辑的归纳学 习系统” 、E.B. Hunt 等人的“概念学习系统”等。 3 1980 年夏天，在美国卡内基梅隆大学举行了第一届机器学习研讨会；同年， 策略分析与信息 系统连出三期机器学习专辑；1983 年，Tioga出版社出版了R.S. Michalski、J.G. Carbonell和T.M. Mitchell主编的机器学习：一种人工智能途径4，书中汇集了 20 位学者 撰写的 16 篇文章，对当时的机器学习研究工作进行了总结，产生了很大反 响a；1986 年， Machine Learning创刊；198

14、9 年， Artificial Intelligence 出版了机器学习专辑，刊发了一些当时比较活跃的研究工作，其内容后来出 现在J.G. Carbonell主编、 MIT出版社 1990 年出版的 机器学习： 风范与方法 5一书中。总的来看，20 世纪 80 年代是机器学习成为一个独立的学科领域 并开始快速发展、各种机器学习技术百花齐放的时期。 R.S. Michalski等人4中把机器学习研究划分成“从例子中学习” 、 “在问 题求解和规划中学习” 、 “通过观察和发现学习” 、 “从指令中学习”等范畴；而E.A. Feigenbaum在著 名的人工智能手册b 中6，则把机器学习技术划分为

15、四大类，即“机械学习” 、 “示教学习” 、 “类 比学习” 、 “归纳学习” 。机械学习也称为“死记硬背式学习” ，就是把外界输入的信息全部记下来， 在需要的时候原封不动地取出来使用，这实际上没有进行真正的学习；示教学习和类比学习实际上 类似于R.S. Michalski等人所说的“从指令中学习”和“通过观察和发现学习” ；归纳学习类似于“从 例子中学习” ，即从训练例中归纳出学习结果c。20 世纪 80 年代以来，被研究得最多、应用最广的是 “从例子中学习” （也就是广义的归纳学习） ， 它涵盖了监督学习 （例如分类、 回归） 、 非监督学习 （例 如聚类）等众多内容。下面我们对这方面主流

16、技术的演进做一个简单的回顾。 在 20 世纪 90 年代中期之前， “从例子中学习”的一大主流技术是归纳逻辑程序设计（Inductive Logic Programming） ， 这实际上是机器学习和逻辑程序设计的交叉。 它使用 1 阶逻辑来进行知识表示， 通过修改和扩充逻辑表达式（例 如Prolog表达式） 来完成对数据的 归纳。这一技术占据主流地位与 整个人工智能领域的发展历程是 分不开的。如前所述，人工智能 在 20 世纪 50 年代到 80 年代经历了“推理期”和“知识期” ，在“推理期”中人们基于逻辑知识表 示、通过演绎技术获得了很多成果，而在知识期中人们基于逻辑知识表示、通过领域知识获取来实 现专家系统，因此，逻辑知识表示很自然地受到青睐，而归纳逻辑程序设计技术也自然成为机器学 习的一大主流。归纳逻辑程序设计技术的一大优点是它具有很强的知识表示能力，可以较容易地表 示出复杂数据和复杂的数据关系。尤为重要的是，领域知识通常可以方便地写成逻辑表达式，因此， 归纳逻辑程序设计技术不仅可以方便地利用领域知识指导学习，还可以通过学习