人工智能-第5章-机器学习

《人工智能-第5章-机器学习》由会员分享，可在线阅读，更多相关《人工智能-第5章-机器学习（102页珍藏版）》请在金锄头文库上搜索。

1、第第5 5章章 机器学习机器学习*1人工智能学习能力是人类智能的根本特征。人类通过学习来 提高和改进自己的能力。学习的基本机制是把一种情 况下成功的表现行为转移到另一种类似的新情况中。 人的认识能力和智慧才能就是在毕生的学习中逐步形 成、发展和完善。任何自然的智能系统都具备学习的 能力。机器学习是继专家系统之后人工智能应用的又一 重要研究领域。本章主要介绍机器学习的有关知识及 其主要的几种学习方法。Date2人工智能5.1 机器 学习概述5.2 机械 学习5.3 归纳 学习5.4 类比 学习5.5 解释 学习5.6 强化 学习5.7 知识 发现本章主要内容：Date3人工智能5.1 5.1 机

2、器学习概述机器学习概述n什么是学习？ 学习是人类具有的一种重要智能行为，但究竟什么是学 习，长期以来却众说纷纭。n关于“学习”这一概念的主要观点：q学习是系统改进其性能的过程。这是西蒙的 观点。n西蒙的观点：学习就是系统在不断重复 的工作中对本身能力的增强或者改进，使得系统在 下一次执行同样任务或类似任务时，会比现在做得 更好或效率更高。q学习是获取知识的过程。这是从事专家系统 研究的人们的观点。q学习是技能的获取。这是心理学家的观点。q学习是事物规律的发现过程。 Date4人工智能基本的学习形式有2种： （1）知识获取和技能求精。例如，我们说某人学过物理。我们的意思是，此人已经掌握了有关物理

3、学的基本概念，并且理解其含义，同时还懂得这些概念之间以及 它们与物理世界之间的关系。一般地，知识获取可看作学习新的符号信息，而这些符 号信息是以有效方式与应用这种信息的能力相适应的。 （2）第二类学习形式是通过实践逐步改进机制和认知技能。学习的很多过程都是由改进所学的技能组成。这些技能包括意识的或者机制的协调，而这种改进又是通过反复实践和从失败的行为中纠 正偏差来进行的。例如骑自行车或弹钢琴等等。知识获取的本质可能是一个自觉的过程，其结果产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复 实践来实现的。人类的学习一般表现为这两种活动的结合。Date5人工智能5.1.1 机器学习的

4、定义 至今，还没有统一的“机器学习”定义，而且也很难给出 一个公认的和准确的定义。一般认为机器学习是研究如何使用机器来模拟人类学习 活动的一门学科。更为严格的提法是：机器学习是一门研究机器获取新 知识和新技能，并识别现有知识的学问。u 最早的具有学习能力的程序：1959年美国的塞缪尔(Samuel)设计了一个下棋程序， 这个程序具有学习能力，它可以在不断的对奕中改善自 己的棋艺。4年后，这个程序战胜了设计者本人。又过了 3年，这个程序战胜了美国一个保持8年之久的常胜不败 的冠军。Date6人工智能5.1.2 机器学习的发展史机器学习的发展过程大体上可分为4个时期： 1、第一阶段是在50年代中叶

5、到60年代中叶，属于热烈时期。在这个时期，所研究的是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系统和自适应系统；指导本 阶段研究的理论基础是早在40年代就开始研究的神经网络模型 。在这个时期，我国研制了数字识别学习机。 2、第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。这个时期正是我国“史无 前例”的十年，对机器学习的研究不可能取得实质进展。 Date7人工智能5.1.2 机器学习的发展史（2）3、第三阶段从70年代中叶至80年代中叶，称为复兴时期。在这个时期，人们从学习单个概念

6、扩展到学习多个概念，探索不同的学习策略和各种学习方法。u1980年,在美国召开了第一届国际机器学习研讨会;1984年,机器学习杂志问世。u我国于1987年召开了第一届全国机器学习研讨会;1989年成立了以中国科技大学蔡庆生教授为理事长的理事会。4、机器学习的最新阶段始于1986年。一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习 研究开始进入稳步发展和逐渐繁荣的新时期。Date8人工智能机器学习、知识发现与数据挖掘 知识发现(Knowledge Discovering in Database)与数据挖 掘(Data Mining)是人工智能、

7、机器学习 (Machine Learning)与数据库技术相结合的产物。KDD一词是在1989年于美国底特律市召开的第一届 KDD国际学术会议上正式形成的。1995年，在加拿大召开了第一届知识发现和数据挖掘国际学术会议。由于数据库中的数据被形象地喻为矿 床，因此数据挖掘一词很快流传开来。 数据挖掘和知识发现的研究已形成热潮，并在生物医 学、金融管理、商业销售等领域得到成功应用，给机 器学习注入新的活力。Date9人工智能5.1.3 机器学习系统的基本结构环境是指系统外部信息的来源，它可以是系统的工作对象，也 可以包括工作对象和外界条件。学习单元处理环境提供的信息，相当于各种学习算法。学习单 元

8、利用环境提供的信息，并与执行单元的反馈信息进行比较， 获取相关知识，对知识库进行修改。知识库用于存放由学习环节所得到的知识。知识库中知识的表 示方法可以是：谓词、产生式、特征向量、神经网络等。执行单元处理系统所面临的现实问题，即应用知识库中的知识 求解问题。机器学习系统的基本结构如图Date10人工智能影响学习系统设计的重要因素(1) 影响学习系统设计的最重要的因素是环境向系统提供的信息。更具体地说是信息的质量。 (2) 知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，在选择时要兼顾以下4个方面：表达能力强。所选择的表示方式能很容易地表达有关的知识。易于推理。为了使学习系统的计算代

9、价比较低，希望知识表示 方式能使推理较为容易。容易修改知识库。学习系统的本质要求它不断地修改自己的知 识库，当推广得出一般执行规则后，要加到知识库中。知识表示易于扩展。每一个学习系统都要求具有某些知识理解 环境提供的信息，分析比较，做出假设，检验并修改这些假设 。因此，更确切地说，学习系统是对现有知识的扩展和改进。Date11人工智能5.1.4 机器学习的分类u按学习方法分类（温斯顿在1977年的分类方法）机械式学习：机械学习就是记忆。指导式学习：采用示教式学习策略，也称为示教学习。示例学习：通过工作例子学习。类比学习：应用类似任务的知识求解当前问题。解释学习：根据领域知识对当前实例分析和求解

10、。u按学习的综合属性分类（综合考虑知识表示、推理方法 、应用领域等多种因素）：归纳学习：从个体的特征归纳出它们的共性分析学习：从领域理论出发演绎出更有效的规则。 连接学习：人工神经网络学习遗传学习：模拟自然界遗传与变异机制Date12人工智能5.2 5.2 机械学习机械学习机械学习的模式机械学习是最简单的机器学习方法。机械学习就是记 忆，即把新的知识存储起来，供需要时检索调用，而不需要 计算和推理。机械学习又是最基本的学习过程。任何学习系 统都必须记住它们获取的知识。在机械学习系统中，知识的 获取是以较为稳定和直接的方式进行的，不需要系统进行过 多的加工。(X1,X2,Xn)(Y1,Y2,Yn

11、)f(X1,X2,Xn),(Y1,Y2,Yn)存储Date13人工智能数据化简 Lenat,Hayes Roth，和Klahr等人于1979年关于机械学一种有趣的观点。他们指出，可以把机械学习看成是 数据化简分级中的第一级。数据化简与计算机语言编译类 似；其目的是把原始信息变成可执行的信息。在机械学习 中我们只记忆计算的输入输出，忽略了计算过程，这样就 把计算问题化简成存取问题。 Date14人工智能机械学习的主要问题 对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权衡。（1）存储组织信息：采用适当的存储方式，使检索速度 尽可能地快，是机械学习中的重要问题。（2）环境

12、的稳定性与存储信息的适用性问题：机械学习 系统必须保证所保存的信息适应于外界环境变化的需要， 这也就是所谓的信息适用性问题。（3）存储与计算之间的权衡：对于机械学习来说很重要 的一点是它不能降低系统的效率。Date15人工智能5.3 5.3 归纳学习归纳学习归纳学习是目前研究得最多的学习方法，其学习目的 是为了获得新的概念、构造新的规则或发现新的理论。这种 方法对领域理论没有要求，甚至可以没有领域理论，但其需 要大量的训练例子，而且归纳性能受到描述语言、概念类型 、信噪比、实例空间分布、 归纳模式等的影响。（1）归纳（induction）是人类拓展认识能力的重要方法，是 一种从个别到一般的，从

13、部分到整体的推理行为。（2）归纳推理是应用归纳方法，从足够多的具体事例中归纳 出一般性知识，提取事物的一般规律；它是一种从个别到一般的 推理。（3）归纳学习（induction learning）是应用归纳推理进行学习 的一种方法。根据归纳学习有无教师指导，可把它分为示例学习 和观察与发现学习。前者属于有师学习，后者属于无师学习。Date16人工智能5.3.1 归纳学习的模式和规则归纳学习的模式给定： (1) 观察陈述（事实）F，用以表示有关某些对象、状态、过程等的特定知识；(2) 假定的初始归纳断言（可能为空），是关于目标的泛化 项或泛化描述。(3) 背景知识，用于定义有关观察陈述、候选归纳

14、断言以及 任何相关问题领域知识、假设和约束，其中包括能够刻 画所求归纳断言的性质的优先准则。 求：归纳断言（假设）H，能重言蕴涵或弱蕴涵观察陈述，并满足背景知识。Date17人工智能假设H永真蕴涵事实F，说明F是H的逻辑推理，则有：H | F （读作H特殊化为F）或 F | CTXK (2) 放松条件：一个事例的原因可能不止一条，当出现新的原因时，应该把新的原因包含进去。CTX1K = (CTX1CTX2)K Date19人工智能(3) 沿概念树上溯：设L是一结构性描述项，S代表所有条件中的L值在概念分层树上最近的共同祖先，则：(4) 形成闭合区域：设L是一个具有显性关系的描述项，a,b是它的

15、特殊值，则：(5) 将常量转化成变量：Date20人工智能5.3.2 归纳学习方法1、示例学习示例学习（learning from examples）又称为实例学习， 它是通过环境中若干与某概念有关的例子，经归纳得出一般 性概念的一种学习方法。在这种学习方法中，外部环境提供 的是一组例子（正例和反例），示例学习就是要从这些特殊 知识中归纳出适用于更大范围的一般性知识，以覆盖所有的 正例并排除所有反例。2、观察发现学习观察发现学习又称为描述性概括，其目标是确定一个定 律或理论的一般性描述，刻画观察集，指定某类对象的性质 。观察发现学习可分为观察学习与机器发现两种。前者用于 对事例进行聚类，形成概

16、念描述；后者用于发现规律，产生 定律或规则。Date21人工智能5.3.3 归纳学习示例-决策树学习决策树学习是应用最广的归纳推理算法之一。它是一种逼近离散值函数的方法。在这种方法中学习到的函 数被表示为一颗决策树。学习得到的决策树也能再被表 示为多个if-then规则，以提高可读性。决策树学习方法对噪声数据有很好的健壮性且能够 学习析取表达式。决策树学习算法有很多，比如ID3、 C4.5、ASSISTANT等等。这些决策树学习方法搜索一个完整表示的假设空间，从而避免了受限假设空间的不 足。决策树学习的归纳偏置是优先选择较小的树。 Date22人工智能决策树表示法n决策树通过把实例从根节点排列(sort)到某个叶子节点来分类实例，叶子节点即为实例所属的分类。树上的每一个 节点说明了对实例的某个属性(attribute)的测试，并且该节点的每一个后继分枝对应于该属性的一个可能值。n分类