人工智能与知识工程07_机器学习

《人工智能与知识工程07_机器学习》由会员分享，可在线阅读，更多相关《人工智能与知识工程07_机器学习（29页珍藏版）》请在金锄头文库上搜索。

1、第七章 机器学习,7.1 机器学习的定义、研究意义与发展历史 7.2 机器学习的主要策略与基本结构 7.3 7.7 几种常用的学习方法 7.8 知识发现 7.9 小结,中南大学 智能系统与智能软件研究所,2,7.1 机器学习的定义和发展历史,7.1.1 机器学习的定义 机器学习的定义 顾名思义,机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技 能,并识别现有知识的学问。,中南大学 智能系统与智能软件研究所,3,7.1.2 机器学习的发展史,机器学习的发展分为4个时期 第一阶段是在50年代中叶到60年代中叶，属于热烈时期。 第二阶段

2、在60年代中叶至70年代中叶，被称为机器学习的冷静时期。 第三阶段从70年代中叶至80年代中叶，称为复兴时期。 机器学习的最新阶段始于1986年 。,7.1 机器学习的定义和发展历史,中南大学 智能系统与智能软件研究所,4,机器学习进入新阶段的表现 机器学习已成为新的边缘学科并在高校形成课程。 综合各种学习方法 机器学习与人工智能问题的统一性观点正在形成。 各种学习方法的应用范围不断扩大。 数据挖掘和知识发现的研究已形成热潮 。 与机器学习有关的学术活动空前活跃 。,7.1 机器学习的定义和发展历史,中南大学 智能系统与智能软件研究所,5,7. 2 机器学习的主要策略和基本结构,7.2.1 机

3、器学习的主要策略 按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种机械学习、示教学习、类比学习和示例学习。 机械学习 示教学习 类比学习 示例学习,中南大学 智能系统与智能软件研究所,6,机械学习,这种学习策略不需要任何推理过程。外界输入知识的表示方式与系统内部的表示方式完全一致，不需要任何处理与转换。,中南大学 智能系统与智能软件研究所,7,示教学习,外界输入知识的表达方式与内部表达方式不完全一致，系统在接受外部知识时需要一点推理、翻译和转化工作。,中南大学 智能系统与智能软件研究所,8,类比学习,学习系统必须能够发现当前任务与已知任务的相似点，由此制定出完成当前任务的方案。,

4、中南大学 智能系统与智能软件研究所,9,示例学习,事先完全没有完成任务的任何规律性的信息，所得到的只是一些具体的而工作例子及工作经验。系统需要对这些例子及经验进行分析、总结和推广，得到完成任务的一般规律，并在进一步的工作中验证或修改这些规律。,中南大学 智能系统与智能软件研究所,10,7.2.2 机器学习系统的基本结构 1.学习系统的基本结构,7.2 机器学习的主要策略和基本结构,中南大学 智能系统与智能软件研究所,11,2.影响学习系统设计的要素 影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地说是信息的质量。 知识库是影响学习系统设计的第二个因素。知识的表示有特征向量、一阶

5、逻辑语句、产生式规则、语义网络和框架等多种形式。这些表示方式应该表达能力强、易于推理、知识易于扩展、知识库容易修改。,7.2 机器学习的主要策略和基本结构,中南大学 智能系统与智能软件研究所,12,7.3 机械学习 1.机械学习模式 机器学习是最简单的学习方法。机器学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。它是一种最基本的学习过程。,7.3 机械学习,中南大学 智能系统与智能软件研究所,13,Lenat，Hayes-Roth，和Klahr等人于1979年关于机械学一种有趣的观点，见图6.2。,7.3 机械学习,中南大学 智能系统与智能软件研究所,14,2.机械学

6、习的主要问题 存储组织信息：要采用适当的存储方式，使检索速度尽可能地快。 环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要。 存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。,7.3 机械学习,中南大学 智能系统与智能软件研究所,15,7.4 归纳学习,归纳学习（induction learning）是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。 7.4.1 归纳学习的模式和规则 归纳学习的模式,中南大学 智能系统与智能软件研究所,16,归纳学习方法,示例学习 它是通过环境中

7、若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。 观察发现学习 又称为描述性概括，其目标是确定一个定律或理论的一般性描述，刻画观察集，指定某类对象的性质。观察发现学习可分为观察学习与机器发现两种。前者用于对事例进行聚类，形成概念描述；后者用于发现规律，产生定律或规则。,中南大学 智能系统与智能软件研究所,17,7.5 类比学习,7.5.1 类比推理和类比学习方式 类比学习（learning by analogy）就是通过类比，即通过对相似事物加以比较所进行的一种学习 。 其推理过程如下 ： 回忆与联想- 选择 - 建立对应关系 -转换,中南大学 智能系统与智能软件研究所,18,7.

8、5.2 类比学习过程与研究类型,类比学习主要包括如下四个过程： 输入一组已知条件和一组未完全确定的条件 。 对两组出入条件寻找其可类比的对应关系。 根据相似转换的方法，进行映射。 对类推得到的知识进行校验。,7.5 类比学习,中南大学 智能系统与智能软件研究所,19,类比学习的研究可分为两大类： (1) 问题求解型的类比学习 (2) 预测推定型的类比学习。它又分为两种方式： 一是传统的类比法 另一是因果关系型的类比,7.5 类比学习,中南大学 智能系统与智能软件研究所,20,7.6 解释学习,7.6.1 解释学习过程和算法 1986年米切尔（Mitchell）等人为基于解释的学了一个统一的算法

9、EBG：,中南大学 智能系统与智能软件研究所,21,EBG求解问题的形式可描述于下:,给定： (1) 目标概念描述TC； (2) 训练实例TE； (3) 领域知识DT； (4) 操作准则OC。 求解： 训练实例的一般化概括，使之满足： (1) 目标概念的充分概括描述TC； (2) 操作准则OC。,7.6 解释学习,中南大学 智能系统与智能软件研究所,22,7.7 神经学习 7.7.1 基于反向传播网络的学习 反向传播（back-propagation,BP）算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。BP算法过程包含从输出节点开始，反向地向第一隐含层传播由总误差引起的权值修正

10、。,中南大学 智能系统与智能软件研究所,23,7.7.2 基于Hopfield网络的学习 反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的计算能力。 Hopfield网络是一种具有正反相输出的带反馈人工神经元。,7.7 神经学习,中南大学 智能系统与智能软件研究所,24,7.8 知识发现 7.8.1 知识发现的发展和定义 知识发现的产生和发展 知识发现最早是于1989年8月在第11届国际人工智能联合会议的专题讨论会上。 知识发现的定义 数据库中的知识发现是从大量数 据中辨识出有效的、新颖的、潜在有用的、并可被理解的 模式的高级处理过程 。 要求：新颖、潜在有用、可被人理解,中南大学 智

11、能系统与智能软件研究所,25,7.8.2 知识发现的处理过程,1. 数据选择。根据用户的需求从数据库中提取与KDD相关的数据。,2. 数据预处理。主要是对上述数据进行再加工，检查数据的完整性及数据的一致性，对丢失的数据利用统计方法进行填补，形成发掘数据库。,7.8 知识发现,中南大学 智能系统与智能软件研究所,26,3. 数据变换。即从发掘数据库里选择数据,4.数据挖掘。根据用户要求，确定KDD的目标是发现何种类型的知识。,5. 知识评价。这一过程主要用于对所获得的规则进行价值评定，以决定所得的规则是否存入基础知识库。,7.8 知识发现,中南大学 智能系统与智能软件研究所,27,7.8.3 知

12、识发现的方法,1.统计方法：统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。,2. 机器学习方法,3. 神经计算方法,4.可视化方法 ：可视化（visualization）就是把数据、信息和知识转化为可视的表示形式的过程。,7.8 知识发现,中南大学 智能系统与智能软件研究所,28,7.8.4 知识发现的应用,知识发现已在许多领域得到应用。现在，知识发现已在银行业、保险业、零售业、医疗保健、工程和制造业、科学研究、卫星观察和娱乐业等行业和部门得到成功应用，为人们的科学决策提供很大帮助。,7.8 知识发现,中南大学 智能系统与智能软件研究所,29,7.9 小结,本章只对机器学习作个入门介绍。 机器学习在过去十多年中获得较大发展。今后机器学习将在理论概念、计算机理、综合技术和推广应用等方面开展新的研究。其中，对结构模型、计算理论、算法和混合学习的开发尤为重要。在这些方面，有许多事要做，有许多新问题需要人们去解决。,