机器学习入门介绍

《机器学习入门介绍》由会员分享，可在线阅读，更多相关《机器学习入门介绍（80页珍藏版）》请在金锄头文库上搜索。

1、Artificial Intelligence Principles and Applications第第7章章机器学习机器学习(MachineLearning)桑克（桑克（R.Shank)：“一台计算机若不会学习，就不能说它具一台计算机若不会学习，就不能说它具有智能。有智能。”2第7章机器学习7.1机器学习的基本概念机器学习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比较与展望7.1机器学习的基本概念机器学习的基本概念37.1机器学习的基本概念7.1.1学习学习

2、7.1.2机器学习机器学习7.1.3机器学习系统机器学习系统7.1.4机器学习的发展机器学习的发展7.1.5机器学习的分类机器学习的分类47.1.1学习（1）学习是系统改进其性能的过程：西蒙，）学习是系统改进其性能的过程：西蒙，1980。（2）学习是获取知识的过程。）学习是获取知识的过程。（3）学习是技能的获取。）学习是技能的获取。（4）学习是事物规律的发现过程。）学习是事物规律的发现过程。 学习学习：一个有特定目的的知识获取过程。：一个有特定目的的知识获取过程。 内在行为内在行为：获取知识、积累经验、发现规律。：获取知识、积累经验、发现规律。 外部表现外部表现：改进性能、适应环境、实现系统的

3、自我完善。：改进性能、适应环境、实现系统的自我完善。 “学学习习是是系系统统中中的的任任何何改改进进，这这种种改改进进使使得得系系统统在在重重复复同同样样的的工工作作或或进进行行类类似似的的工工作作时时，能能完成得更好。完成得更好。”例例如如“小小孩孩学学走走路路”、“学弹钢琴学弹钢琴”等。等。学学习习：从从感感性性知知识识到到理理性性知知识识的的认认识识过过程程，从从表表层层知知识识到深层知识的转换过程。到深层知识的转换过程。57.1机器学习的基本概念7.1.1学习学习7.1.2机器学习机器学习7.1.3机器学习系统机器学习系统7.1.4机器学习的发展机器学习的发展7.1.5机器学习的分类机

4、器学习的分类6机机器器学学习习(MachineLearning)：计计算算机机能能模模拟拟人人的的学学习习行行为为，自自动动地地通通过过学学习习获获取取知知识识和和技技能能，不不断断改善性能，实现自我完善。改善性能，实现自我完善。7.1.2机器学习1）学学习习机机理理:对对学学习习机机制制的的研研究究，即即人人类类获获取取知知识识、技技能能和和抽象概念的天赋能力。抽象概念的天赋能力。2）学学习习方方法法：在在生生物物学学习习机机理理进进行行简简化化的的基基础础上上，用用计计算算的的方法进行再现。方法进行再现。3）学习系统学习系统：根据特定任务的要求，建立相应的学习系统。：根据特定任务的要求，建

5、立相应的学习系统。77.1机器学习的基本概念7.1.1学习学习7.1.2机器学习机器学习7.1.3机器学习系统机器学习系统7.1.4机器学习的发展机器学习的发展7.1.5机器学习的分类机器学习的分类81.机器学习系统的定义机器学习系统的定义学习系统：学习系统：能够在一定程度上实现机器学习的系统。能够在一定程度上实现机器学习的系统。萨萨利利斯斯(Saris)的的定定义义（1973年年）：能能够够从从某某个个过过程程或或环环境境的的未未知知特特征征中中学学到到有有关关信信息息，并并且且能能把把学学到到的的信信息息用用于于未未来来的的估估计计、分分类类、决决策策或或控控制制，以以便便改改进进系系统统

6、的的性性能能。施施密密斯斯等等的的定定义义（1977年年）：在在与与环环境境相相互互作作用用时时，能能利用利用过去过去与环境作用时得到的信息与环境作用时得到的信息，并，并提高其性能提高其性能。7.1 机器学习的基本概念机器学习的基本概念7.1.3机器学习系统92.机器学习系统的条件和能力机器学习系统的条件和能力（1）具有适当的学习环境）具有适当的学习环境（2）具有一定的学习能力）具有一定的学习能力（3）能应用学到的知识求解问题）能应用学到的知识求解问题（4）能提高系统的性能）能提高系统的性能7.1.3机器学习系统103.机器学习系统的基本模型机器学习系统的基本模型7.1.3机器学习系统执行与评

7、价环境学习知识库学习系统的基本结构学习系统的基本结构117.1机器学习的基本概念7.1.1学习学习7.1.2机器学习机器学习7.1.3机器学习系统机器学习系统7.1.4机器学习的发展机器学习的发展7.1.5机器学习的分类机器学习的分类127.1.4机器学习的发展1.神经元模型的研究（神经元模型的研究（20世纪世纪50年代中期年代中期）主主要要研研究究工工作作：应应用用决决策策理理论论的的方方法法研研制制可可适适应应环环境境的的通通用用学习系统（学习系统（generalpurposelearningsystem）。1957年，罗森勃拉特（年，罗森勃拉特（F.Rosenblatt）提出）提出感知器

8、模型感知器模型。塞塞缪缪尔尔（Samuel）的的跳跳棋棋程程序序：分分析析了了约约175000副副不不同同棋棋局局后，归纳出了棋类书上推荐的走法，准确率达到后，归纳出了棋类书上推荐的走法，准确率达到48。1969年年 ， 明明 斯斯 基基 和和 佩佩 珀珀 特特 （ Papert） 发发 表表 了了 论论 著著Perceptron，对神经元模型的研究作出了悲观的论断。，对神经元模型的研究作出了悲观的论断。137.1.4机器学习的发展2.符号学习的研究（符号学习的研究（20世纪世纪70年代中期年代中期）符符号号概概念念获获取取的的学学习习方方法法（1970年年）：模模拟拟人人类类的的概概念念学学

9、习习过过程程，通通过过分分析析一一些些概概念念的的正正例例和和反反例例构构造造出出这些概念的符号表示。这些概念的符号表示。莫斯托夫（莫斯托夫（D.J.Mostow）的）的指导式学习指导式学习。温温斯斯顿顿（Winston）和和卡卡鲍鲍尼尼尔尔（J.G.Carbonell）的的类比学习类比学习。米切尔（米切尔（T.M.Mitchell）等人的）等人的解释学习解释学习。147.1.4机器学习的发展3.连接学习的研究（连接学习的研究（20世纪世纪80年代年代）连连接接学学习习：一一种种以以非非线线性性大大规规模模并并行行处处理理为为主主流流的的神神经网络研究。经网络研究。1980年年，在在卡卡内内基

10、基梅梅隆隆大大学学召召开开了了第第一一届届机机器器学学习习国际研讨会。国际研讨会。1986年年，创创刊刊了了第第一一本本机机器器学学习习杂杂志志MachineLearning。157.1机器学习的基本概念7.1.1学习学习7.1.2机器学习机器学习7.1.3机器学习系统机器学习系统7.1.4机器学习的发展机器学习的发展7.1.5机器学习的分类机器学习的分类167.1.5机器学习的分类1.按学习方法分类（温斯顿，按学习方法分类（温斯顿，1977）：）：机械式学习、指导式学习、示例学习、类比学习、机械式学习、指导式学习、示例学习、类比学习、解释学习等。解释学习等。2.按学习能力分类：按学习能力分类

11、：监督学习监督学习（有教师学习）（有教师学习）177.1.5机器学习的分类2.按学习能力分类：按学习能力分类：再励学习（强化学习或增强学习）再励学习（强化学习或增强学习）187.1.5机器学习的分类2.按学习能力分类：按学习能力分类：非监督学习（无教师学习）非监督学习（无教师学习）3.按推理方式分类：按推理方式分类：n基于演绎的学习（解释学习）。基于演绎的学习（解释学习）。n基于归纳的学习基于归纳的学习（示例学习、发现学习等（示例学习、发现学习等）。）。4.按综合属性分类：按综合属性分类：n归纳学习、分析学习、连接学习、归纳学习、分析学习、连接学习、遗传式学习等。遗传式学习等。19第7章机器学

12、习7.1机器学习的基本概念机器学习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比较与展望207.2机械式学习机械式学习 机机械械式式学学习习（rotelearning）又又称称记记忆忆学学习习，或或死死记记式式学学习习：通通过过直直接接记记忆忆或或者者存存储储外外部部环环境境所所提提供供的的信信息息达达到到学学习习的的目目的的，并并在在以以后后通通过过对对知知识识库库的的检索得到相应的知识直接用来求解问题。检索得到相应的知识直接用来求解问题。 机械式学习机械式学习

13、实质实质是用存储空间来换取处理时间。是用存储空间来换取处理时间。217.2机械式学习l在在给给定定搜搜索索深深度度下下用用估估价价函函数数对对格格局局进进行行评评分分，通通过过倒倒推推计计算算求求出出上上层层节节点点的的倒倒推推值值，决定当前的，决定当前的最佳走步最佳走步。l下下次次遇遇到到相相同同情情况况，直直接接利利用用倒倒推推值值决决定定最最佳佳走走步步，不需重新计算。不需重新计算。塞缪尔的跳棋程序塞缪尔的跳棋程序CHECKERS以以 A A 为结点的博弈树为结点的博弈树QA6A博弈搜索树博弈搜索树2B6C2486912343865649622第7章机器学习7.1机器学习的基本概念机器学

14、习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比较与展望237.3指导式学习指导式学习指指导导式式学学习习（learningbybeingtold）又又称称嘱嘱咐咐式式学学习习或或教教授授式式学学习习：由由外外部部环环境境向向系系统统提提供供一一般般性性的的指指示示或或建建议议，系系统统把把它它们们具具体体地地转转化化为为细细节节知知识识并并送送入入知知识识库库中中。在在学学习习过过程程中中要要反反复复对对形形成成的的知知识进行评价，使其不断完善。识进行评价，使其

15、不断完善。指指导导式式学学习习的的学学习习过过程程：征征询询指指导导者者的的指指示示或或建建议议、把把征征询询意意见见转转换换为为可可执执行行的的内内部部形形式式、加加入入知知识库、评价。识库、评价。247.3指导式学习简单征询：指导者给出一般性的意见，系统将其具体化。简单征询：指导者给出一般性的意见，系统将其具体化。复复杂杂征征询询：系系统统不不仅仅要要求求指指导导者者给给出出一一般般性性的的建建议议，而而且且还还要要具具体体地地鉴鉴别别知知识识库库中中可可能能存存在在的的问问题题，并并给给出出修修改改意见。意见。被动征询：系统只是被动地等待指导者提供意见。被动征询：系统只是被动地等待指导者

16、提供意见。主主动动征征询询：系系统统不不只只是是被被动动地地接接受受指指示示，而而且且还还能能主主动动地提出询问，把指导者的注意力集中在特定的问题上。地提出询问，把指导者的注意力集中在特定的问题上。1.征询指导者的指示或建议征询指导者的指示或建议257.3指导式学习指导式学习学学习习系系统统应应具具有有把把用用约约定定形形式式表表示示的的征征询询意意见见转转化化为为计计算算机机内内部部可可执执行行形形式式的的能能力力，并并且且能能在在转转化化过过程程中中进进行行语语法法检检查查及及适当的语义分析。适当的语义分析。2.把征询意见转换为可执行的内部形式把征询意见转换为可执行的内部形式 在在加加入入

17、过过程程中中要要对对知知识识进进行行一一致致性性检检查查，以以防防止止出出现现矛矛盾盾、冗余、环路等问题。冗余、环路等问题。3.加入知识库加入知识库 评评价价方方法法：对对新新知知识识进进行行经经验验测测试试，即即执执行行一一些些标标准准例例子子，然后检查执行情况是否与已知情况一致。然后检查执行情况是否与已知情况一致。 4.评价评价 26第7章机器学习7.1机器学习的基本概念机器学习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比较与展望277.4归纳学习7.4.1

18、归纳推理归纳推理7.4.2示例学习示例学习7.4.3观察与发现学习观察与发现学习287.4.1归纳推理归纳推理归纳推理：应用归纳推理：应用归纳方法归纳方法所进行的推理，即从足够所进行的推理，即从足够多的事例中归纳出一般性的知识。多的事例中归纳出一般性的知识。它是一种从个别到一般、从部分到整体的推理。它是一种从个别到一般、从部分到整体的推理。归纳推理的重要特征：归纳推理的重要特征：归纳出的结论不能绝对保证归纳出的结论不能绝对保证它的正确性，只能以某种程度相信它为真它的正确性，只能以某种程度相信它为真。 例如，由例如，由“麻雀会飞麻雀会飞”、“鸽子会飞鸽子会飞”、“燕子会飞燕子会飞”归纳出归纳出“

19、有翅膀的动物会飞有翅膀的动物会飞”、“长羽毛的动物会飞长羽毛的动物会飞”等结等结论。论。29 从个别事例归纳出一般性知识的方法：从个别事例归纳出一般性知识的方法：设设：某类事物：某类事物A中的具体事物。中的具体事物。已知已知都有属性都有属性P，并且没有发现反例。，并且没有发现反例。当当n 足够大时，可得出：足够大时，可得出：“A中所有事物都有属性中所有事物都有属性P”。7.4.1归纳推理归纳推理1.枚举归纳枚举归纳30例如，设有如下已知事例：例如，设有如下已知事例：张三是足球运动员，他的体格健壮。张三是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。

20、刘六是足球运动员，他的体格健壮。刘六是足球运动员，他的体格健壮。事例足够多时，可归纳出一般性知识：事例足够多时，可归纳出一般性知识：凡是足球运动员，他的体格一定健壮。凡是足球运动员，他的体格一定健壮。7.4.1归纳推理归纳推理1.枚举归纳枚举归纳(0.9)31已知两个事物已知两个事物a与与b有有n个属性相似或相同，即：个属性相似或相同，即：a具有属性具有属性P1，b也具有属性也具有属性P1。a具有属性具有属性P2，b也具有属性也具有属性P2。a具有属性具有属性Pn，b也具有属性也具有属性Pn。且且a具有属性具有属性Pn+1，则当，则当n足够大时，可归纳出足够大时，可归纳出 b也具有属性也具有属

21、性Pn+1。7.4.1归纳推理归纳推理2.联想归纳联想归纳 32设：设：且且则则当当A与与B中中有有新新元元素素出出现现时时（设设A 中中的的a及及B中中的的b），若已知若已知a有属性，就可得出有属性，就可得出b有属性，即有属性，即7.4.1归纳推理归纳推理3.类比归纳类比归纳 33一般模式一般模式：（1）若）若H为真时，则为真时，则H E必为真或以置信度必为真或以置信度cf1成立。成立。（2）观察到）观察到E 成立或以置信度成立或以置信度cf2成立。成立。（3）则）则H 以某种置信度以某种置信度(cf )成立。成立。7.4.1归纳推理归纳推理4.逆推理归纳：逆推理归纳：由结论成立推出前提以某

22、种置信度成立。由结论成立推出前提以某种置信度成立。 用公式表示用公式表示：34则则H的置信度：的置信度：7.4.1归纳推理4.逆推理归纳（续）逆推理归纳（续） EH的置信度的置信度cf1=P(H/E)HE的置信度的置信度cf1=P(E/H)HE1cfE2cfHcf357.4.1归纳推理归纳推理5.消除归纳消除归纳 消除归纳：通过不断否定原先的假设来得出结论消除归纳：通过不断否定原先的假设来得出结论。 已知：已知：结论：结论：367.4.1归纳推理归纳推理演绎推理演绎推理归纳推理归纳推理 一般一般 个别个别 个别个别 一般一般 必然性推理必然性推理 或然性推理（或然性推理（“主观不充主观不充分置

23、信分置信”的推理）的推理） 结论不会超出前提所断定结论不会超出前提所断定 的范围；的范围； 不能获取新知识。不能获取新知识。 结论适用于更大的范围；结论适用于更大的范围；可获取新知识。可获取新知识。 演绎推理与归纳推理的区别演绎推理与归纳推理的区别 377.4归纳学习7.4.1归纳推理归纳推理7.4.2示例学习示例学习7.4.3观察与发现学习观察与发现学习387.4.2示例学习示例学习 示示例例学学习习（learningfromexamples，实实例例学学习习或或从从例例子子中中学学习习） ：通通过过从从环环境境中中取取得得若若干干与与某某概概念念有有关关的的例例子子，经归纳得出一般性概念的

24、一种学习方法。经归纳得出一般性概念的一种学习方法。 示示例例学学习习中中，外外部部环环境境（教教师师）提提供供一一组组例例子子（正正例例和和反反例例），然然后后从从这这些些特特殊殊知知识识中中归归纳纳出出适适用用于于更更大大范范围围的的一般性知识，它将覆盖所有的正例并排除所有反例。一般性知识，它将覆盖所有的正例并排除所有反例。 397.4.2示例学习1.示例学习的学习模型示例学习的学习模型示例空间验证搜索解释形成知识知识库图图7.7示例学习的学习模型示例学习的学习模型407.4.2示例学习示例学习2.形成知识的方法形成知识的方法（1）变量代换常量变量代换常量例如，假设有两个关于扑克牌例如，假设

25、有两个关于扑克牌“同花同花”概念的示例。概念的示例。示例示例1：示例示例2：可得到一条一般性的知识：可得到一条一般性的知识：规则规则1：417.4.2示例学习示例学习2.形成知识的方法形成知识的方法（2）舍弃条件舍弃条件 例如示例：例如示例：可得到一条一般性的知识：可得到一条一般性的知识：规则规则1：花色花色(c1,黑桃黑桃)点数（点数（c1,7）花色花色(c2,黑桃黑桃)点数（点数（c2,3）花色花色(c3,黑桃黑桃)点数（点数（c3,10）花色花色(c4,黑桃黑桃)点数（点数（c4,5）同花同花(c1,c2,c3,c4)427.4.2示例学习示例学习2.形成知识的方法形成知识的方法（3）增

26、加操作）增加操作 前件析取法前件析取法例如例如关于关于“脸牌脸牌”示例：示例：得到知识：得到知识：437.4.2示例学习示例学习2.形成知识的方法形成知识的方法（3）增加操作）增加操作 内内部部析析取取法法：在在示示例例的的表表示示中中使使用用集集合合与与集集合合间间的的成成员员关系来形成知识。关系来形成知识。例如示例：例如示例：得到知识：得到知识：447.4.2示例学习示例学习2.形成知识的方法形成知识的方法（4）合取变析取）合取变析取 例如：例如：“男同学男同学与与女同学可以组成一个班女同学可以组成一个班”。 归纳：归纳：“男同学男同学或或女同学可以组成一个班女同学可以组成一个班”。（5）

27、归结归纳归结归纳 例如：例如：得到：得到：l示示例例1：某某天天下下雨雨，且且自自行行车车在在路路上上出出了了毛病需修理毛病需修理，所以他上班迟到。，所以他上班迟到。l示示例例2：某某天天没没下下雨雨，但但交交通通阻阻塞塞，所所以以他上班迟到。他上班迟到。l得得到到：如如果果自自行行车车在在路路上上出出了了毛毛病病需需修修理理，或者或者交通阻塞交通阻塞，则他有可能上班迟到。，则他有可能上班迟到。457.4.2示例学习示例学习2.形成知识的方法形成知识的方法（6）曲线拟合）曲线拟合设在示例空间提供了一批如下形式的示例：设在示例空间提供了一批如下形式的示例：(x,y,z)示例示例1：(1,0,10

28、)示例示例2：(2,1,18)示例示例3：(-1,-2,-6)应用曲线拟合法（例如应用曲线拟合法（例如最小二乘法）最小二乘法）得到：得到：z=2x+6y+8467.4归纳学习7.4.1归纳推理归纳推理7.4.2示例学习示例学习7.4.3观察与发现学习观察与发现学习477.4.3观察与发现学习观察与发现学习观观察察与与发发现现学学习习（learningfromobservinganddiscovery）:观观察察学学习习：用用于于对对事事例例进进行行概概念念聚聚类类，形形成成概概念念描述。描述。发现学习发现学习：用于发现规律，产生定律或规则。：用于发现规律，产生定律或规则。487.4.3观察与发

29、现学习观察与发现学习1.概念聚类概念聚类( (1980年年, ,米卡尔斯基（米卡尔斯基（R.S.Michalski) 基基本本思思想想: : 把把事事例例按按一一定定的的方方式式和和准准则则进进行行分分组组，如如划划分分为为不不同同的的类类，不不同同的的层层次次等等，使使不不同同的的组组代代表表不不同同的的概概念念，并并且且对对每每一一个个组组进进行行特特征征概概括括，得得到到一一个个概概念念的的语语义义符号描述。符号描述。 497.4.3观察与发现学习观察与发现学习1.概念聚类概念聚类 例如事例：例如事例：喜鹊、麻雀、布谷鸟、乌鸦、鸡、鸭、鹅，喜鹊、麻雀、布谷鸟、乌鸦、鸡、鸭、鹅，分为两类：

30、分为两类：鸟鸟=喜鹊，麻雀，布谷鸟，乌鸦，喜鹊，麻雀，布谷鸟，乌鸦，家禽家禽=鸡、鸭、鹅，鸡、鸭、鹅，得知：得知：“鸟鸟有羽毛、有翅膀、会飞、会叫、野生有羽毛、有翅膀、会飞、会叫、野生”。“家禽家禽有羽毛、有翅膀、会飞、会叫、家养有羽毛、有翅膀、会飞、会叫、家养”。507.4.3观察与发现学习观察与发现学习2.发现学习发现学习发发现现学学习习:从从系系统统的的初初始始知知识识、观观察察事事例例或或经经验验数数据据中中归纳出规律或规则。归纳出规律或规则。无教师指导的归纳学习无教师指导的归纳学习经验发现经验发现:从经验数据中发现规律和定律。从经验数据中发现规律和定律。知识发现知识发现:指从已观察的

31、事例中发现新的知识。指从已观察的事例中发现新的知识。51第7章机器学习7.1机器学习的基本概念机器学习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比较与展望527.5类比学习7.5.1类比推理类比推理7.5.2属性类比学习属性类比学习7.5.3转换类比学习转换类比学习类类比比学学习习(learningbyanalogy)：通通过过对对相相似似事事物物进进行行比比较较所所进进行行的的一一种学习。种学习。537.5.1类比推理类比推理类类比比推推理理：由由新新情情况况

32、与与记记忆忆中中的的已已知知情情况况在在某某些些方方面相似，从而推出它们在其他相关方面也相似。面相似，从而推出它们在其他相关方面也相似。源源域域S：已已经经认认识识的的域域，包包括括过过去去曾曾经经解解决决过过且且与与当前问题类似的问题以及相关知识；当前问题类似的问题以及相关知识；目目标标域域T：当当前前尚尚未未完完全全认认识识的的域域，是是遇遇到到的的新新问问题。题。类类比比推推理理的的目目的的：从从源源域域S中中选选出出与与当当前前问问题题最最近近似似的的问问题题及及其其求求解解方方法法来来求求解解当当前前的的问问题题，或或者者建建立起立起目标域目标域T中已有命题间的联系，形成新知识。中已

33、有命题间的联系，形成新知识。547.5.1类比推理类比推理类比推理的推理过程：类比推理的推理过程：1）回回忆忆与与联联想想：在在S中中找找出出与与当当前前情情况况相相似似的的情情况况，并并按按相似度从高到低进行排序。相似度从高到低进行排序。2）选择：选出与当前情况最相似的情况及其有关知识。）选择：选出与当前情况最相似的情况及其有关知识。3）建建立立对对应应关关系系：在在S与与T的的相相似似情情况况之之间间建建立立相相应应的的映映射。射。4）转转换换：把把S中中的的有有关关知知识识引引到到T中中，建建立立起起求求解解当当前前问问题的方法或者学习到关于题的方法或者学习到关于T的新知识。的新知识。设

34、设S1与与T1分分别别表表示示S与与T 中中的的某某一一情情况况，且且S1与与T1相相似似，再再假假设设S2与与S1相相关关，则则由由类类比比推推理理可可推推出出T 中中的的T2，且且T2与与S2相似。相似。557.5类比学习7.5.1类比推理类比推理7.5.2属性类比学习属性类比学习7.5.3转换类比学习转换类比学习567.5.2属性类比学习属性类比学习 属属性性类类比比学学习习: : 根根据据两两个个相相似似事事物物的的属属性性实实现现类类比比学习的。学习的。 属性类比学习系统（属性类比学习系统（1979年，温斯顿）：年，温斯顿）： 源源域域和和目目标标域域都都是是用用框框架架表表示示的的

35、，分分别别称称为为源源框框架架和和目标框架目标框架。框架的槽用于表示事物的属性。框架的槽用于表示事物的属性。 学学习习过过程程: : 把把源源框框架架中中的的某某些些槽槽值值传传递递到到目目标标框框架架的相应槽中去。的相应槽中去。 577.5.2属性类比学习属性类比学习候选槽候选槽：其槽值有可能要传递给目标框架的那些槽。：其槽值有可能要传递给目标框架的那些槽。选择的方法：选择的方法：（1）选选择择具具有有极极端端槽槽值值的的槽槽，例例如如“很很大大”、“很很小小”（2）选择已经被确认为）选择已经被确认为“重要槽重要槽”的槽的槽（3）选择与源框架相似的框架中不具有的槽）选择与源框架相似的框架中不

36、具有的槽（4）选择相似框架中不具有这种槽值的槽）选择相似框架中不具有这种槽值的槽（5）选择源框架中的所有槽）选择源框架中的所有槽1.从从源框架源框架中选择若干槽作为中选择若干槽作为候选槽候选槽587.5.2属性类比学习属性类比学习筛选规则：筛选规则：（1）选择在目标框架中还未填值的槽。）选择在目标框架中还未填值的槽。（2）选择在目标框架中为典型事例的槽。）选择在目标框架中为典型事例的槽。（3）选择）选择与目标框架有紧密关系的槽，或者与目与目标框架有紧密关系的槽，或者与目 标框架的槽类似的槽。标框架的槽类似的槽。 2.根据根据目标框架目标框架对对候选槽候选槽进行筛选进行筛选 597.5类比学习7

37、.5.1类比推理类比推理7.5.2属性类比学习属性类比学习7.5.3转换类比学习转换类比学习607.5.3转换类比学习转换类比学习 在在状状态态空空间间表表示示法法的的知知识识表表示示中中， “状状态态”：描描述述问问题题在在不不同同时时刻刻的的状状况况；“算算符符”：描描述述改改变变状状态态的的操操作。作。 当当问问题题由由初初始始状状态态变变换换到到目目标标状状态态时时，所所用用算算符符的的序序列就构成了问题的一个解。列就构成了问题的一个解。 如何使问题由初始状态变换到目标状态呢？如何使问题由初始状态变换到目标状态呢？ “手手 段段 目目 标标 分分 析析 ”法法 （ means-end

38、analysis，MEA），又又称称为为“中中间间结结局局分分析析”法法：纽纽厄厄尔尔等等人人在在通通用用问问题题求求解解程程序序GPS（generalproblemsolver）中中提提出的一种问题求解模型。出的一种问题求解模型。 617.5.3转换类比学习转换类比学习 “手段目标分析手段目标分析”法（法（MEA）求解问题的基本过程求解问题的基本过程 ：（1）把问题的）把问题的当前状态当前状态与与目标状态目标状态进行比较，找出进行比较，找出差异差异。（2）根据差异找出一个）根据差异找出一个可减小差异的算符可减小差异的算符。（3）如如果果该该算算符符可可作作用用于于当当前前状状态态，则则用用该

39、该算算符符把把当当前前状状态态改改变变为为另另一一个个更更接接近近于于目目标标状状态态的的状状态态；如如果果不不能能，则则保保留留当当前状态前状态，并生成一个子问题，再对此子问题应用，并生成一个子问题，再对此子问题应用MEA。（4）当子问题被求解后，恢复）当子问题被求解后，恢复保留的状态保留的状态，继续处理原问题。，继续处理原问题。627.5.3转换类比学习转换类比学习回忆过程回忆过程：找出新、旧问题间的：找出新、旧问题间的差别差别，包括：，包括：（1）初始状态的差别。）初始状态的差别。（2）目标状态的差别。）目标状态的差别。（3）路径约束的差别。）路径约束的差别。（4）求解方法可应用度的差别

40、。）求解方法可应用度的差别。转转换换过过程程：把把旧旧问问题题的的求求解解方方法法经经适适当当变变换换使使之之成成为为求求解解新新问问题题的的方方法法，变变换换中中用用MEA来来减减小小目目标标状状态态与与初初始始状状态态之之间间的的差异，使初始状态逐步过渡到目标状态，即求出问题的解。差异，使初始状态逐步过渡到目标状态，即求出问题的解。转转换换类类比比学学习习：由由外外部部环环境境获获得得与与类类比比有有关关的的信信息息，学学习习系系统统找找出出与与新新问问题题相相似似的的旧旧问问题题的的有有关关知知识识，把把这这些些知知识识进进行行转转换换使之适用于新问题，从而获得新的知识。使之适用于新问题

41、，从而获得新的知识。63第7章机器学习7.1机器学习的基本概念机器学习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比较与展望647.6解释学习解释学习 解解释释学学习习（explanation-basedlearning）：由由美美国国Illinois大大学学的的Dejong于于1983年年提提出出，属属于于分分析析学学习习，本质为演绎学习方法。本质为演绎学习方法。它它是是通通过过运运用用相相关关的的领领域域知知识识，对对当当前前提提供供的的单单个个实实例例的的问

42、问题题求求解解进进行行分分析析，从从而而构构造造解解释释并并产产生生相相应知识的。应知识的。解释学习系统：解释学习系统：米切尔（米切尔（Mitchell）等人研制的）等人研制的LEX和和LEAP系统系统，明顿（明顿（S.Minton）等人研制的）等人研制的PRODIGY系统系统等。等。 657.6解释学习7.6.1解释学习的概念解释学习的概念7.6.2解释学习的学习过程解释学习的学习过程7.6.3领域知识的完善性领域知识的完善性667.6.1解释学习的概念解释学习的概念解解释释学学习习：通通过过运运用用相相关关的的领领域域知知识识及及一一个个训训练练实实例例来来对对某某一一目目标标概概念念进进

43、行行学学习习，并并最最终终生生成成这这个个目目标标概概念念的的一般性描述。一般性描述。解解释释学学习习的的一一般般性性描描述述（米米切切尔尔（Mitchell）等等，1986）：）：给给定定：领领域域知知识识DT（用用于于证证明明训训练练实实例例为为什什么么可可作作为为目目标标概概念念的的实例）实例）目标概念目标概念TC（要学习的概念）（要学习的概念）训练实例训练实例TE操作性准则操作性准则OC （指导系统对描述目标的概念进行取舍）（指导系统对描述目标的概念进行取舍）找出：找出：满足满足OC的关于的关于TC的充分条件。的充分条件。677.6.1解释学习的概念解释学习的概念 解释学习与示例学习的

44、主要区别：解释学习与示例学习的主要区别：（1）示例学习：输入一组实例。）示例学习：输入一组实例。解释学习：输入一个实例。解释学习：输入一个实例。（2）示例学习：归纳学习，不要求提供领域知识。）示例学习：归纳学习，不要求提供领域知识。解释学习：演绎学习，要求提供完善的领域知识。解释学习：演绎学习，要求提供完善的领域知识。（3）示例学习：概念的获取，即知识增加的一面。）示例学习：概念的获取，即知识增加的一面。解释学习：解释学习：技能提高的一面。技能提高的一面。687.6.2解释学习的学习过程解释学习的学习过程 证明过程：通过运用领域知识进行演绎实现的，证明证明过程：通过运用领域知识进行演绎实现的，

45、证明的结果是得到一个解释结构。的结果是得到一个解释结构。 1.构造解释构造解释 解解释释学学习习的的学学习习过过程程：首首先先运运用用领领域域知知识识找找出出训训练练实实例例为为什什么么是是目目标标概概念念的的证证明明，即即解解释释，然然后后按按操操作作性性准准则对解释进行推广，从而得出关于目标概念的学习描述。则对解释进行推广，从而得出关于目标概念的学习描述。 例如，学习目标：例如，学习目标：“一个物体一个物体x可以安全地放置在另一个物体可以安全地放置在另一个物体y的上面的上面”（堆叠问题）。（堆叠问题）。目标概念：物体（目标概念：物体（x,y)，Safe-to-stack(x,y)697.6

46、.2解释学习的学习过程解释学习的学习过程训练实例（描述物体训练实例（描述物体Obj1和和Obj2的事实）：的事实）：领域知识（安全放置准则和计算准则）：领域知识（安全放置准则和计算准则）：例如，学习目标：例如，学习目标：“一个物体一个物体x可以安全地放置在另一个物体可以安全地放置在另一个物体y的上面的上面”（堆叠问题）。（堆叠问题）。目标概念：物体（目标概念：物体（x,y)，Safe-to-stack(x,y)707.6.2解释学习的学习过程解释学习的学习过程 1.构造解释构造解释),(21ObjObjStackToSafe- - -),(21ObjObjLighter)1 .0 ,(1Obj

47、Weight)15,(2ObjWeight)15, 1 .0(Smaller),(2booktableObjIsa- -)1 ,(1ObjVolume)1 .0 ,(1ObjDensity)1 .0 , 1 .0 , 1 (*Safe- To-Stack(Obj1,Obj2)的解释结构的解释结构717.6.2解释学习的学习过程解释学习的学习过程 任任务务：对对上上一一步步得得到到的的解解释释结结构构进进行行一一般般化化处处理理，从从而得到关于目标概念的一般性知识。而得到关于目标概念的一般性知识。 处处理理的的方方法法: : 把把常常量量变变换换为为变变量量，并并把把某某些些不不重重要要的的信信

48、息息去去掉掉，只只保保留留那那些些对对以以后后求求解解问问题题所所必必须须的的关关键键性性信息。信息。 2.获取一般性的知识获取一般性的知识 727.6.2解释学习的学习过程解释学习的学习过程2.获取一般性的知识获取一般性的知识 ),(21OOStackToSafe- - -),(21OOLighter),(11wOWeight)15,(2OWeight)15,(1wSmaller),(2booktableOIsa- -),(11vOVolume),(11dODensity),(*111wdvSafe -To -Stack (O1,O2)一般化解释结构一般化解释结构737.6.3领域知识的完善

49、性领域知识的完善性 两种极端情况：两种极端情况：（1）构造不出解释）构造不出解释原原因因：系系统统中中缺缺少少某某些些相相关关的的领领域域知知识识，或或者者领领域域知知识识中包含了矛盾等错误。中包含了矛盾等错误。（2）构造出了多种解释）构造出了多种解释 原原因因：领领域域知知识识不不健健全全，已已有有的的知知识识不不足足以以把把不不同同的的解解释区分开来。释区分开来。 74第7章机器学习7.1机器学习的基本概念机器学习的基本概念7.2机械式学习机械式学习7.3指导式学习指导式学习7.4归纳学习归纳学习7.5类比学习类比学习7.6基于解释的学习基于解释的学习7.7学习方法的比较与展望学习方法的比

50、较与展望757.7机器学习方法的比较与展望7.7.1各种机器学习方法的比较各种机器学习方法的比较7.7.2机器学习的展望机器学习的展望767.7.1各种机器学习方法的比较各种机器学习方法的比较 以推理能力排列以推理能力排列 机械式学习，指导式学习，解释学习，类比学习，机械式学习，指导式学习，解释学习，类比学习， 示例学习，观察与发现学习示例学习，观察与发现学习。 适用领域适用领域 连接学习连接学习：模拟人类较低级的神经活动。：模拟人类较低级的神经活动。 符号学习符号学习：模拟人类的高级思维活动。：模拟人类的高级思维活动。 对领域理论的要求对领域理论的要求 示例学习、观察与发现学习示例学习、观察

51、与发现学习：领域理论要求较少。：领域理论要求较少。 解释学习解释学习：要求提供完善的领域知识。：要求提供完善的领域知识。777.7.1各种机器学习方法的比较各种机器学习方法的比较 知识获取角度：知识获取角度： 示例学习、观察与发现学习示例学习、观察与发现学习：通过学习可以产生新概念：通过学习可以产生新概念 描述，可用于专家系统的知识获取。描述，可用于专家系统的知识获取。解释学习解释学习:学习目标主要是改善系统的效率，而不扩充学习目标主要是改善系统的效率，而不扩充概念描述的范围。概念描述的范围。指导式学习指导式学习:通过与指导者（如领域专家）的交互学习新通过与指导者（如领域专家）的交互学习新知识

52、，同时又可帮助指导追踪推理过程，发现其中的错知识，同时又可帮助指导追踪推理过程，发现其中的错误，找出产生错误的原因，然后由指导者进行修正。误，找出产生错误的原因，然后由指导者进行修正。 787.7机器学习方法的比较与展望7.7.1各种机器学习方法的比较各种机器学习方法的比较7.7.2机器学习的展望机器学习的展望797.7.2机器学习的展望机器学习的展望（1）人类学习机制的研究。）人类学习机制的研究。（2）发展和完善现有的学习方法，并开展新的学习）发展和完善现有的学习方法，并开展新的学习方法的研究。方法的研究。（3）建立实用的学习系统，特别是多种学习方法协）建立实用的学习系统，特别是多种学习方法协同工作的集成化系统的研究。同工作的集成化系统的研究。（4）机器学习的结构模型、计算理论、算法和混合）机器学习的结构模型、计算理论、算法和混合学习的有关理论及应用的研究。学习的有关理论及应用的研究。 80THEENDArtificial Intelligence Principles and Applications