《人工智能与应用》ppt课件

《《人工智能与应用》ppt课件》由会员分享，可在线阅读，更多相关《《人工智能与应用》ppt课件（70页珍藏版）》请在金锄头文库上搜索。

1、第六章 机器学习,华北电力大学 计算机系 刘丽,2,主要内容,概述 机器学习的基本系统结构 神经网络学习,3,第六章 机器学习,概述 机器学习的基本系统结构 神经网络学习,4,机器学习 概述,目前为止的大多数人工智能系统还完全没有或仅有很有限的学习能力 现有的大多数人工智能系统是演绎的，没有归纳推理，因而不能自动获取和生成知识 未来的计算机将有自动获取知识的能力 它们直接由书本学习，通过与人谈话学习，通过观察环境学习 它们通过实践自我完善，克服人的局限性 有必要对这一前景给以关注,5,机器学习 概述,争论：机器的能力是否能超过人的能力？ 否定意见：机器是人造的，其性能和动作完全是由设计者来规定

2、的，因此无论如何其能力也不会超过设计者本人 肯定意见：对具备学习能力的机器而言，它的能力在应用中不断地提高，过一段时间以后，设计者本人也不知他的能力到了何种水平这就是机器学习的不可预测问题,6,机器学习 概述,学习结果的不确定性带来的新的问题： 学习系统产生的知识可能是系统设计者都无法预测，如果用这种系统解决重要问题，就可能产生意外的困难或危险 必须设计新的有自适应能力的系统： 用于安排测试过程来审查学习系统产生的知识 这个系统必须具有与被监测的系统相当的学习能力，才能够跟随系统知识的变化，完成实时的检测 这个监测系统本身的变化又如何了解、控制呢？,7,Three laws of Roboti

3、cs(1),科幻小说家艾萨克阿西莫夫在他的机器人相关作品和其他机器人相关小说中为机器人设定的行为准则 第一法则：机器人不得伤害人类，或袖手旁观坐视人类受到伤害 第二法则：除非违背第一法则，机器人必须服从人类的命令 第三法则：在不违背第一及第二法则下，机器人必须保护自己,8,Three laws of Robotics(2),1985年，机器人与帝国这本书中，阿西莫夫将三大法则扩张为四大法则： 第零法则：机器人不得伤害人类整体，或袖手旁观坐视人类整体受到伤害 第一法则：除非违背第零法则，机器人不得伤害人类，或袖手旁观坐视人类受到伤害 第二法则：除非违背第零或第一法则，机器人必须服从人类的命令 第

4、三法则：在不违背第零至第二法则下，机器人必须保护自己,9,Three laws of Robotics(3),三定律在科幻小说中大放光彩，一些其他作者的科幻小说中的机器人也遵守这三条定律 三定律也具有一定的现实意义，在三定律基础上建立新兴学科“机械伦理学”旨在研究人类和机械之间的关系 截至2006年，三定律在现实机器人工业中没有应用，但目前很多人工智能和机器人领域的技术专家也认同这个准则,10,Three laws of Robotics(4),罗杰克拉克添加了以下的定律： 元定律：机器人可以什么也不做，除非它的行动符合机器人学定律。此定律置于第零、第一、第二、第三定律之前 第四定律：机器人必

5、须履行内置程序所赋予的责任，除非这与其他高阶的定律冲突 繁殖定律：机器人不得参与机器人的设计和制造，除非新的机器人的行动服从机器人学定律,11,机器学习 概述,什么是学习？什么是机器学习？没有被广泛认可的准确定义 Simon（1983）：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高 Minsky (1985)：学习是在我们头脑中（心里内部）进行有用的变化 学习是一种具有多侧面的现象。学习基本形式有知识获取和技能求精,12,机器学习 概述,知识获取学习的本质 例如科学知识的学习 是一个自觉的过程，其结果是产生新的

6、符号知识结构和智力模型 技能求精通过教育或实践改进机制和认知能力 借助观察和实验发现新的事实和新的理论。例如学习骑自行车 是下意识地借助于反复地实践来实现的,13,机器学习 概述,机器学习的任务主要包括以下两个方面： 获得对于输入的数据进行分类能力： 如医疗诊断，信用卡业务或交易，投资，DNA序列，口语，手写字，天文图象等等 获得解决问题，行为计划和行为控制等的能力 如解决微分问题，下跳棋，象棋，平衡杠杆，驾车等等,14,机器学习 概述,对系统学习性能进行评价的指标： 分类精度：是否能够对输入的数据进行正确、精确的分类 解答的正确性和质量： 对用于分类和解决问题的系统都有解答正确性问题；同时正

7、确性不一定保证有好的质量 好的质量包括：可读性、稳定性等多方面的因素 学习的速度： 它不仅仅影响系统的设计，还影响系统的实现,15,机器学习 概述,机器学习一直是AI研究的瓶颈之一，表现在： 预测难：学习后知识库发生了什么变化，系统功能的变化的预测 归纳推理： 现有的归纳推理只保证假，不保证真。演绎推理保真 而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性 机器目前很难观察什么重要、什么有意义,16,机器学习 概述,发展历史：大体上可分为两个时期 早期机器学习的发展经历了下面三个发展阶段 神经系统模型阶段 开始于20世纪50年代，所研究的内容是没有知识的学习 主要研究目标

8、是各种自组织系统和自适应系统 主要理论基础是神经网络模型 代表工作 F.Rosenblatt提出的感知器模型 机器学习的决策理论方法也应运而生。Samuel的跳棋程序是最著名的成功的学习系统之一,17,机器学习 概述,符号概念获取研究阶段 1975年左右提出 这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示 表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络 代表有Winston的ARCH 由于这类学习只能学习单个概念，未能投入实际应用,18,机器学习 概述,知识加强和论域专用学习阶段 此方法是70年代中期开始，沿着符号主义路线进行的。在原有基础上逐步加强、重于专业的专用

9、性 强调使用面向任务的知识和它对学习过程的引导作用。系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念,19,机器学习 概述,机器学习进入新阶段的重要表现： 机器学习已成为新的边缘科学并在高校形成一门课程 结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起 机器学习与人工智能各种基础问题的统一性观点正在形成 各种学习方法的应用范围不断扩大，一部分已形成商品 与机器学习有关的学术活动空前活跃,20,机器学习 概述,机器学习的分类 ： 方法种类不少，很难系统分类。根据强调侧面的不同可以有

10、多种分法 按学习风格分类，机器学习可以分为： 记忆学习、演绎学习、归纳学习、类比学习、分析学习、发现学习、遗传学习、连接学习等等,21,机器学习 概述,机械式学习（记忆学习），即向机器直接输入新知识 不需要进行任何推理或知识转换，将知识直接装进机器中。有多少写多少，系统本身没有学习过程，对知识不做任何修改，只有使用 通过类推学习（演绎学习） 系统找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。该种学习方法是大量知识的总结、推广,22,机器学习 概述,从例子中学习（归纳学习） 给学习者提供某一概念的一组正例和反例，学习者归纳出一个总

11、的概念描述 类比学习 通过目标对象与源对象的相似性，运用源对象的求解方法解决目标对象的问题 连接学习 主要是指神经网络学习，实质上就是神经网络的建立过程,23,机器学习 概述,按照实现途径分类，机器学习可以分为： 符号学习 连接学习 按学习方法分类，机器学习可分为 有教师指导学习，也称从样本学习 无教师指导学习，也称从环境中学习、强化学习,24,第六章 机器学习,概述 机器学习的基本系统结构 神经网络学习,25,第六章 机器学习,概述 机器学习的基本系统结构 神经网络学习,26,机器学习 机器学习的基本系统结构,机器学习的系统结构模型 西蒙认为：学习就是系统在不断重复的工作中对本身能力的增强或

12、者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高 以西蒙的学习定义作为出发点，建立起下图所示的简单的学习系统结构模型,27,机器学习 机器学习的基本系统结构,环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分,28,机器学习 机器学习的基本系统结构,环境 可以是系统的工作对象，也可以包括工作对象和外界条件 对环境提供给系统的信息评价包含以下两个方面 信息水平： 信息的一般性程度，即适用范围的广泛性 信息的质量：信息的正确性、是否是适当的选择和合理的组织 环

13、境中信息的水平和质量是影响学习系统设计的第一个因素，而影响学习系统效率的另一个重要因素是知识库的形式和内容,29,机器学习 机器学习的基本系统结构,知识库： 知识库的形式即知识表示的形式是否适宜非常重要 知识库的内容是指知识库在初始阶段要有相当的初始知识，并且在学习过程中不断修正和增加新的知识。知识库内的知识大多是以概念的形式存储的,30,机器学习 机器学习的基本系统结构,知识库的形式 常用的知识表示方法有：特征向量、谓词演算、产生式规则、过程、LISP函数、数字多项式、语义网络和框架 选择知识表示方法要考虑 可表达性：表达方式要能描述缺乏内在结构的事物 推理难度：表示的不同，推理当然有的容易

14、，有的难 可修改性：知识是否可修改。不能修改的知识不能更新 可扩充性：系统学习通过增加词典条目和表示结构来扩大表示能力，使得系统能够学习并表示更复杂的知识,31,机器学习 机器学习的基本系统结构,学习环节 是核心模块，是和外部交互的接口 学习部分对环境提供的信息整理、分析、归纳或类比，生成新的知识元或利用这些信息修改知识库，以增进系统执行部分完成任务的效能 学习环节从执行环节得到执行结果的反馈信号，进行学习修正，进一步改善执行环节的行为 执行环节的复杂性、反馈和透明度都对学习环节有影响。复杂的任务需要更多的知识,32,机器学习 机器学习的基本系统结构,执行环节 根据知识库执行一系列任务，同时把

15、执行结果或执行过程中获得的信息反馈给学习部分，完成对新知识库的评价，指导进一步的工作 任务的复杂性由执行任务所需的是单个概念还是多个概念，执行任务采用的方式是单步还是多步来决定,33,第六章 机器学习,概述 机器学习的基本系统结构 神经网络学习,34,第六章 机器学习,概述 机器学习的基本系统结构 神经网络学习,35,机器学习 神经网络学习,神经网络基础 发展史 生物神经元基本模型 神经网络基本模型 神经网络特性 前馈型人工神经元网络 线性阈值单元 感知器及其学习算法 BP算法,36,神经网络基础,发展史 1890年，美国生物学家W.James出版了Physiology（生理学）一书。首次阐明

16、了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型 描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的 总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法,37,神经网络基础 发展史,1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron) 第一次把神经网络研究从纯理论的探讨推向工程实现。掀起了神经网络研究高潮 通过在IBM704计算机上的模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果 1969M.Minsky和S. Papert发表了Perceptrons的论著： 指出感知器仅能解决一阶谓词逻辑，只能做线性划分 对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点 神经网络研究一度达到低潮,38,神经网络基础 发展史,使神经网络研究一度达到低