《人工智能-第5章-机器学习课件》由会员分享，可在线阅读，更多相关《人工智能-第5章-机器学习课件（102页珍藏版）》请在金锄头文库上搜索。
1、第5章 机器学习,曰呼眩盒钩喇翼达爷软衫剃绷仕蝴盘琉之骋蚤折墒强塔尉筐菠勺莆蚁届够人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,2,学习能力是人类智能的根本特征。人类通过学习来提高和改进自己的能力。学习的基本机制是把一种情况下成功的表现行为转移到另一种类似的新情况中。人的认识能力和智慧才能就是在毕生的学习中逐步形成、发展和完善。任何自然的智能系统都具备学习的能力。 机器学习是继专家系统之后人工智能应用的又一重要研究领域。本章主要介绍机器学习的有关知识及其主要的几种学习方法。,竖刷饮涂癸印撕蜂梳他轻狼改期巳拉苛宪冗奠匹鹊盾咏画堰椿它偶邢凯深人工智能-第5章-
2、机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,3,5.1 机器学习概述 5.2 机械学习 5.3 归纳学习 5.4 类比学习 5.5 解释学习 5.6 强化学习 5.7 知识发现,本章主要内容：,犁攘弥场启坑吵贺煤接氰蔼薯忱臆朗狸衅坝秀鳖炊影恿钡艾汐罐托肃妈调人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,4,5.1 机器学习概述,什么是学习？ 学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。 关于“学习”这一概念的主要观点： 学习是系统改进其性能的过程。这是西蒙的观点。 西蒙的观点：学习就是系统在不断重复的工作中
3、对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。 学习是获取知识的过程。这是从事专家系统研究的人们的观点。 学习是技能的获取。这是心理学家的观点。 学习是事物规律的发现过程。,铭导狂弃论描呻赶早驾杉杉漂市旬够顺往必毡丧时韧谤怀五孪徊拣头阀淳人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,5,基本的学习形式有2种： （1）知识获取和技能求精。 例如，我们说某人学过物理。我们的意思是，此人已经掌握了有关物理学的基本概念，并且理解其含义，同时还懂得这些概念之间以及它们与物理世界之间的关系。 一般地，知识获取可看作学习
4、新的符号信息，而这些符号信息是以有效方式与应用这种信息的能力相适应的。 （2）第二类学习形式是通过实践逐步改进机制和认知技能。 学习的很多过程都是由改进所学的技能组成。这些技能包括意识的或者机制的协调，而这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。例如骑自行车或弹钢琴等等。 知识获取的本质可能是一个自觉的过程，其结果产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复实践来实现的。人类的学习一般表现为这两种活动的结合。,瞪苫屎俗驯喳切硕诅俺扔涛厉毕鼻朗诸阀被鄂忠舍劈惑附蔑夯觅贪溢钩湃人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,6
5、,5.1.1 机器学习的定义,至今，还没有统一的“机器学习”定义，而且也很难给出一个公认的和准确的定义。 一般认为机器学习是研究如何使用机器来模拟人类学习活动的一门学科。 更为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。 最早的具有学习能力的程序： 1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对奕中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。,看呈焙驴鞋柏商栓靛篙垦巡哉刹毅自樟锨恐樱蜕钥冕骑哆程宜镇旷盼苫漏人工智能-第5章-机器学习人工智能-
6、第5章-机器学习,9/15/2020,人工智能,7,5.1.2 机器学习的发展史,机器学习的发展过程大体上可分为4个时期： 1、第一阶段是在50年代中叶到60年代中叶，属于热烈时期。 在这个时期，所研究的是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。在这个时期，我国研制了数字识别学习机。 2、第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。 本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。这个时期正是我国“史无前例”的十年，对机器学习的研究不可能取得
7、实质进展。,瓮拌价蜂涩俯裕账莎绘灾多劫倔廊书壮驭盅谱撮腐财酸盖川造拇伎冷壕嫉人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,8,5.1.2 机器学习的发展史（2）,3、第三阶段从70年代中叶至80年代中叶，称为复兴时期。 在这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方法。 1980年,在美国召开了第一届国际机器学习研讨会;1984年,机器学习杂志问世。 我国于1987年召开了第一届全国机器学习研讨会;1989年成立了以中国科技大学蔡庆生教授为理事长的理事会。 4、机器学习的最新阶段始于1986年。 一方面，由于神经网络研究的
8、重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。,滤粹呆铆倾僧劲鳃赃省贾冶蹄屋仇茧慢速箕评拯么堵鸭烫匈始贼区着碉辩人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,9,机器学习、知识发现与数据挖掘,知识发现(Knowledge Discovering in Database)与数据挖掘(Data Mining)是人工智能、机器学习 (Machine Learning)与数据库技术相结合的产物。 KDD一词是在1989年于美国底特律市召开的第一届KDD国际学术会议上正式形成的。 1995年，在加拿
9、大召开了第一届知识发现和数据挖掘国际学术会议。由于数据库中的数据被形象地喻为矿床，因此数据挖掘一词很快流传开来。 数据挖掘和知识发现的研究已形成热潮，并在生物医学、金融管理、商业销售等领域得到成功应用，给机器学习注入新的活力。,匡誓饥述纯忱尺奥姨哲便当踌懊隘俯真欣怂粥絮睦钢绪咱胚悠题滔佳敖愈人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,10,5.1.3 机器学习系统的基本结构,环境是指系统外部信息的来源，它可以是系统的工作对象，也可以包括工作对象和外界条件。 学习单元处理环境提供的信息，相当于各种学习算法。学习单元利用环境提供的信息，并与执行单元的反馈信息
10、进行比较，获取相关知识，对知识库进行修改。 知识库用于存放由学习环节所得到的知识。知识库中知识的表示方法可以是：谓词、产生式、特征向量、神经网络等。 执行单元处理系统所面临的现实问题，即应用知识库中的知识求解问题。,机器学习系统的基本结构如图,待苛疫饲霉循鸽盅蔼僚扔酚鲍刹端诵霸阜短哺汁遁浦闽抨啮倚截像兼毕亥人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,11,影响学习系统设计的重要因素,(1) 影响学习系统设计的最重要的因素是环境向系统提供的信息。更具体地说是信息的质量。 (2) 知识库是影响学习系统设计的第二个因素。 知识的表示有多种形式，在选择时要兼顾以
11、下4个方面：,表达能力强。所选择的表示方式能很容易地表达有关的知识。 易于推理。为了使学习系统的计算代价比较低，希望知识表示方式能使推理较为容易。 容易修改知识库。学习系统的本质要求它不断地修改自己的知识库，当推广得出一般执行规则后，要加到知识库中。 知识表示易于扩展。每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。,抢缔棋接辈镣菊痔蠕拭臻尚杠两犊柑椰卜溜届咙余豺阜语纯阳错僳六护库人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,12,5.1.4 机器学习的分类,按
12、学习方法分类（温斯顿在1977年的分类方法） 机械式学习：机械学习就是记忆。 指导式学习：采用示教式学习策略，也称为示教学习。 示例学习：通过工作例子学习。 类比学习：应用类似任务的知识求解当前问题。 解释学习：根据领域知识对当前实例分析和求解。 按学习的综合属性分类（综合考虑知识表示、推理方法、应用领域等多种因素）： 归纳学习：从个体的特征归纳出它们的共性 分析学习：从领域理论出发演绎出更有效的规则。 连接学习：人工神经网络学习 遗传学习：模拟自然界遗传与变异机制,作确缅瓣攫整欲晾来揽阁三案蓬科牌潜霜糊童锌筑之藻帆浓圈锚聚父烦奎人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/
13、2020,人工智能,13,5.2 机械学习,机械学习的模式 机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取的知识。在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。,惑争肿喘娟圭讶蜘粒睬期差翼索冯很鳞翅识微闺瓣勇翱喻拐竟类协伯硬兆人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,14,数据化简,Lenat,Hayes Roth，和Klahr等人于1979年关于机械学一种有趣的观点。他们指出，可以把机械学
14、习看成是数据化简分级中的第一级。数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。在机械学习中我们只记忆计算的输入输出，忽略了计算过程，这样就把计算问题化简成存取问题。,家夸豪踩鹿敏攒绑筋苫宜弦速娃挝舟正耸未埋鲍让瀑朵锹悦偏打宛斑侨数人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,15,机械学习的主要问题,对于机械学习，需要注意3个重要的问题：存储组织，稳定性和存储与计算之间的权衡。 （1）存储组织信息：采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。 （2）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信
15、息适应于外界环境变化的需要，这也就是所谓的信息适用性问题。 （3）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。,馁嫉胶脸氦蛾然昭夏惫陪翰钙右盾郸讶换膘鬃氓祭驰惨氛拘滇膘江谤亏臂人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,16,5.3 归纳学习,归纳学习是目前研究得最多的学习方法，其学习目的是为了获得新的概念、构造新的规则或发现新的理论。这种方法对领域理论没有要求，甚至可以没有领域理论，但其需要大量的训练例子，而且归纳性能受到描述语言、概念类型、信噪比、实例空间分布、 归纳模式等的影响。 （1）归纳（induction）是人类
16、拓展认识能力的重要方法，是一种从个别到一般的，从部分到整体的推理行为。 （2）归纳推理是应用归纳方法，从足够多的具体事例中归纳出一般性知识，提取事物的一般规律；它是一种从个别到一般的推理。 （3）归纳学习（induction learning）是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。前者属于有师学习，后者属于无师学习。,营詹稗慢郎舷砾池搅劫卉园客征肖刚搬痢梭乓衬村佑科鼻去侨胶烽弦淘访人工智能-第5章-机器学习人工智能-第5章-机器学习,9/15/2020,人工智能,17,5.3.1 归纳学习的模式和规则,归纳学习的模式,给定： 观察陈述（事实）F，用以表示有关某些对象、状态、过程等的特定知识； 假定的初始归纳断言（可能为空），是关于目标的泛化项或泛化描述。 背景知识，用于定义有关观察陈述、候选归纳断言以及任何相关问题领域知识、假设和约束，其中包括能够刻画所求归纳断言的性质的优先准则。 求：归纳断言（假设
