人工智能 ai6章符号学习

《人工智能 ai6章符号学习》由会员分享，可在线阅读，更多相关《人工智能 ai6章符号学习（53页珍藏版）》请在金锄头文库上搜索。

1、第6章 符号学习按照机器学习对人类学习方式的模拟，可分为符号学习和联结学习两大类 ，符号学习本章讨论，联结学习下章讨论。6.1 符号学习概述6.1.1 学习的概念6.1.2 机器学习的概念6.1.3 机器学习系统的基本模型 6.2 记忆学习6.3 示例学习6.4 决策树学习6.5 统计学习16.1.1 学习的概念 1. 学习的心理学观点基于脑科学和认知科学对人类学习机理的认识，心理学有两种观点：联结论观点：学习的实质是联结的形成；认知论观点：学习的实质是学习者头脑中认知结构的变化。这些改变既包括行为，也包括行为潜能；既包括感知、记忆、想象、思维 等内部心理过程，也包括语言、表情、动作等外部活动

2、。心理学的学习概念，主要有以下三个核心要点：(1) 学习的发生以行为和行为潜能的变化为标志。学习总会引起行为的改变，并且这种改变可以是外显的，也可以是内隐的 ，即“行为潜能”的改变。(2) 学习是由经验引起的行为改变。经验是一个人通过活动直接与客观世界相互作用的过程或在这一过程中所 得到的结果。只有因经验而引起的行为改变才是学习。(3) 学习所引起的行为变化时间比较持久。学习对行为的影响时间一般比较长，只有当旧的学习被新的学习代替时， 旧的行为变化才会消失。26.1.1 学习的概念 1. 学习的人工智能观点在人工智能领域，对学习的概念有多种不同的解释。其中，影响最大的观 点有以下几种：(1)

3、西蒙（Simon，1983）：学习就是系统中的适应性变化，这种变化使系 统在重复同样工作或类似工作时，能够做得更好。(2) 明斯基（Minsky，1985）：学习是在人们头脑里（心理内部）有用的 变化。(3) 米哈尔斯基（Michalski，1986）：学习是对经历描述的建立和修改。这些观点虽然不尽相同，但却都包含了知识获取和能力改善这两个主要方 面。其中知识获取是指获得知识、积累经验、发现规律等。能力改善是指改进性能、适应环境、实现自我完善等。二者之间，知识获取是学习的核心，能力改善是学习的结果。学习的一般性解释：学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知 识、积累经验

4、、发现规律等，其外部表现是改进性能、适应环境、实现自我 完善等。36.1.2 机器学习的概念 1. 什么是机器学习一般性解释机器学习就是让机器（计算机）来模拟和实现人类的学习功能。学科性解释是一门研究如何利用机器模拟或实现人类学习功能的学科。主要研究内容认知模拟通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种 种问题。理论性分析从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习 算法。面向任务的研究根据特定任务的要求，建立相应的学习系统。 4按机器学习的研究途径和研究目标，机器学习课划分为以下4个阶段：(1) 神经元模型研究20世纪50年代中期到60年代初期，也被

5、称为机器学习的热烈时期，最具有 代表性的工作是罗森勃拉特1957年提出的感知器模型。(2) 符号概念获取20世纪60年代中期到70年代初期。其主要研究目标是模拟人类的概念学习 过程。这一阶段神经学习落入低谷，称为机器学习的冷静时期。(3) 知识强化学习20世纪70年代中期到80年代初期。人们开始把机器学习与各种实际应用相 结合，尤其是专家系统在知识获取方面的需求，也有人称这一阶段为机器学 习的复兴时期。(4) 连接学习和混合型学习20世纪80年代中期至今。把符号学习和连接学习结合起来的混合型学习系 统研究已成为机器学习研究的一个新的热点。6.1.2 机器学习的概念 2. 机器学习的发展过程5按

6、机器学习系统的含义是指能够在一定程度上实现机器学习系统。6.1.2 机器学习的概念 3. 机器学习系统机器学习系统的典型定义萨利斯(Saris) 1973年的解释：如果一个系统能够从某个过程和环境的未知特征中学到有关信息，并且能 把学到的信息用于未来的估计、分类、决策和控制，以便改进系统的性能， 那么它就是学习系统史密斯(Smith) 1977年给出的解释：如果一个系统在与环境相互作用时，能利用过去与环境作用时得到的信息 ，并提高其性能，那么这样的系统就是学习系统66.1.2 机器学习的概念 3. 机器学习系统学习系统的基本要求：(1)具有适当的学习环境所谓学习系统的环境，是指学习系统进行学习

7、时的信息来源。(2) 具有一定的学习能力环境仅是为学习系统提供了相应的信息和条件，要从中学到知识，还必须 有适当的学习方法和一定的学习能力。(3) 够运用所学知识求解问题学以致用，对人这样，对学习系统也是如此。(4) 通过学习提高自身性能提高自身性能，是学习系统应该达到的最终目标。7按学习策略来分类即按学习中所使用的推理方法来分，可分为记忆学习、传授学习、演绎学习、归纳学习等。按应用领域分类专家系统学习、机器人学习、自然语言理解学习等。按对人类学习的模拟方式符号主义学习、连接主义学习等。6.1.2 机器学习的概念 4. 机器学习的类型86.1.3 符号学习系统的基本模型环境学习环节知识库执行环

8、节环境是学习系统所感知到的外界信息集合，也是学习系统的外界来源。信息的 水平（一般化程度）和质量（正确性）对学习系统影响较大。学习环节对环境提供的信息进行整理、分析归纳或类比，形成知识，并将其放入知 识库。知识库存储经过加工后的信息（即知识）。其表示形式是否合适非常重要。执行环节根据知识库去执行一系列任务，并将执行结果或执行过程中获得的信息反 馈给学习环节。学习环节再利用反馈信息对知识进行评价，进一步改善执行 环节的行为。9第6章 符号学习7.1 机器学习概述7.2 记忆学习7.3 示例学习7.4 决策树学习7.5 统计学习10记忆学习也叫死记硬背学习，其基本过程是每当系统解决一个问题时，就

9、系统就记住这个问题和它的解，当以后再遇到此类问题时，不必重新计算， 直接找出原来的解即可使用。记忆学习的基本模型如下：(x1,x2,xn)(y1,y2,yn)(x1,x2,xn),(y1,y2,yn)f存储输入模式执行函数输出模式输入输出模式对6.2 记忆学习执行函数 f 是记忆学习系统的核心，若将由环境得到的输入模式记为 (x1,x2,xn)，f 的作用就是要对该输入模式进行计算，得到其对应的输出模式 (y1,y2,ym) 。即如下输入/输出模式对：(x1,x2,xn) ，(y1,y2,ym)然后，由系统将这一输入/输出模式对保存到知识库中，当以后再遇见输入 模式(x1,x2,xn)时，就可

10、以直接从存储器中把(y1,y2,ym)检索出来，而不需要重新进行计算。 11第6章 符号学习6.1 机器学习的基本概念6.2 记忆学习6.3 示例学习6.3.1 示例学习的类型6.3.2 示例学习的模型6.3.3 示例学习的归纳方法6.4 决策树学习6.5 统计学习12按例子的来源分类 例子来源于教师的示例学习 例子来源于学习者本身的示例学习学习者明确知道自己的状态，但完全不清楚所要获取的概念。 例子来源于学习者以外的外部环境的示例学习例子的产生是随机的。按例子的类型分类 仅利用正例的示例学习这种学习方法会使推出的概念的外延扩大化。 利用正例和反例的示例学习这是示例学习的一种典型方式，它用正例

11、用来产生概念，用反例用来防止 概念外延的扩大。 6.3.1 示例学习的类型13示例空间规则空间验证过程归纳过程示例空间是我们向系统提供的示教例子的集合。研究问题：例子质量，搜索方法。归纳过程是从搜索到的示例中抽象出一般性的知识的归纳过程。归纳方法：常量转 换为变量，去掉条件，增加选择，曲线拟合等。规则空间是事务所具有的各种规律的集合。研究问题：对空间的要求，搜索方法验证过程是要从示例空间中选择新的示例，对刚刚归纳出的规则做进一步的验证和 修改。 6.3.2 示例学习的模型14把示例中的常量换成相应的变量即可得到一个一般性的规则。下面以扑克牌中同花的概念为例，进行讨论。假设例子空间中有以下两个关

12、于扑克牌中“同花”概念的示例：示例1：花色(c1，梅花) 花色(c2，梅花) 花色(c3，梅花) 花色(c4， 梅花) 花色(c5，梅花) 同花(c1, c2, c3, c4, c5) 示例2：花色(c1，红桃) 花色(c2，红桃) 花色(c3，红桃) 花色(c4， 红桃) 花色(c5，红桃) 同花(c1, c2, c3, c4, c5) 其中，示例1表示5张梅花牌是同花，示例2表示5张红桃牌是同花。对这两个示例，采把常量化为变量的归纳方法，只要把“梅花”和“红桃”用 变量x代换，就可得到如下一般性的规则：规则1：花色(c1，x) 花色(c2，x) 花色(c3，x) 花色(c4，x) 花色(c

13、5 ，x) 同花(c1, c2, c3, c4, c5)6.3.3 示例学习的归纳方法 1. 把常量转化为变量15该方法是要把示例中的某些无关的子条件舍去，得到一个一般性的结论例如，有如下示例：示例3：花色(c1, 红桃)点数(c1，2)花色(c2, 红桃)点数(c2，3)花色(c3, 红桃)点数(c3，4)花色(c4, 红桃)点数(c4，5)花色(c5, 红桃)点数(c5，6) 同花(c1, c2, c3, c4, c5) 6.3.3 示例学习的归纳方法 2. 去掉条件为了学习同花的概念，除了需要把常量变为变量外，还需要把与花色无关 的“点数”子条件舍去。这样也可得到上述规则1：规则1：花色

14、(c1，x) 花色(c2，x) 花色(c3，x) 花色(c4，x) 花色(c5 ，x) 同花(c1, c2, c3, c4, c5)166.3.3 示例学习的归纳方法 3. 增加选择该方法是要在析取条件中增加一个新的析取项。它包括前件析取法和内部 析取法。 前件析取法：是通过对示例的前件的析取来形成知识的。例如：示例4：点数(c1, J)脸(c1)示例5：点数(c1, Q)脸(c1)示例6：点数(c1, K)脸(c1) 将各示例的前件进行析取，就可得到所要求的规则：规则2：点数(c1, J)点数(c1, Q)点数(c1, K)脸(c1)内部析取法：是在示例的表示中使用集合与集合的成员关系来形成

15、知识的 。例如，有如下关于“脸牌”的示例：示例7：点数c1J脸(c1)示例8：点数c1Q脸(c1)示例9：点数c1K脸(c1)用内部析取法，可得到如下规则：规则3：点数(c1)J, Q, K脸(c1)17对数值问题的归纳可采用曲线拟合法。假设示例空间中的每个示例(x, y, z) 都是输入x, y与输出z之间关系的三元组。例如，有下3个示例：示例10：(0, 2, 7)示例11：(6, -1, 10)示例12：(-1, -5, -16)用最小二乘法进行曲线拟合，可得x, y, z之间关系的规则如下：规则4：z=2x+3y+1说明：在上述前三种方法中，方法(1)是把常量转换为变量；方法(2)是去

16、掉 合取项（约束条件）；方法(3)是增加析取项。它们都是要扩大条件的适用范 围。从归纳速度上看，方法(1)的归纳速度快，但容易出错；方法(2)归纳速 度慢，但不容易出错。因此，在使用方法(1)时应特别小心。例如：对示例4、示例5及示例6，若使用方法(1) ,则会归纳出如下的错误规则：规则5：（错误）点数(c1, x)脸(c1)它说明，归纳过程是很容易出错的。6.3.3 示例学习的归纳方法 4. 曲线拟合18第6章 符号学习7.1 机器学习的基本概念7.2 记忆学习7.3 示例学习7.4 决策树学习7.4.1 决策树的概念7.3.2 ID3算法7.5 统计学习19决策树是一种由节点和边构成的用来描述分类过程的层次数据结构。根节点：表示分类的开始叶节点：表示一个实例的结束中间节点：表示相应实例中的某一属性边代表：某一属性可能的属性值路径