高级人工智能PPT课件 第5章 机器学习1

《高级人工智能PPT课件 第5章 机器学习1》由会员分享，可在线阅读，更多相关《高级人工智能PPT课件 第5章 机器学习1（87页珍藏版）》请在金锄头文库上搜索。

1、*1 第5章机器学习 第5章机器学习 *2 5.1 概述 5.2 概念学习 5.3 人工神经网络 5.4 机器学习的主要算法 5.1 概述 5.1.1机器学习的定义 5.1.2机器学习系统的基本结构 5.1.3一个学习系统的例子 5.1.1机器学习的定义 学习：系统在不断重复的工作中对本身能力的增强和改进 ，使得系统在下一次执行同样任务或类似任务时会比现在做 得更好或效率更高（西蒙）。 机器学习：实现通过经验来提高对某任务处理性能的行为 的计算机程序。 Michell给出的机器学习的更加形式化的定义： 针对某类任务T，如果计算机程序用P衡量的性能根据经验 E不断自我完善，那么，我们称这个计算机

2、程序针对某类任 务T从经验E中学习，它的性能衡量标准为P。 5.1.2机器学习系统的基本结构 机器学习是多学科的交叉 n 机器学习的重要性 n机器学习是人工智能的主要核心研究领域之一, 也是现代智能系统的关键环节和瓶颈。 n来自生物、金融与网络等各领域的数据，迫切 需要分析或建立模型。 机器学习的应用 n网络安全 n入侵检测 n天气预报 n对未来天气的预报 n搜索引擎 n机器学习技术支撑各类搜索引擎技术 n汽车的自动驾驶 n天文数据的分析 机器学习的应用 n生物技术 n蛋白质片段预测 n基因表达分析 n计算机系统特性预测 n银行 n信用卡 n欺诈行为识别 n字符识别 nWeb应用 n 机器学习

3、习的研究 n理论论分析从理论论上探索各种可能的学习习方法 和独立于应应用领领域的算法 n监督学习 非监督学习 半监督学习 强化学习 多示例学习 增量学习与在线学 习 集成学习 多策略学习 进化计算 人工生命 神经网络 模糊集与粗糙集 多 Agent系统中的学习 基于案例的推理 决策树 支持向量机 k近邻 序列分析 聚类 n面向任务务的研究研究和分析改进进一组预组预 定任 务务的执执行性能的学习习系统统。 n信息检索 生物信息学 语音、图像处理与理解 自然语言理解 对复杂结 构数据的学习 数据挖掘与知识发现 模式识别 多Agent系统中的学习 n认认知模型研究人类类学习过习过 程并进进行计计算机

4、 模拟拟。 n人类学习的计算模型 计算学习理论 增强学习系统可理解性 神经网络 人 工生命 机器学习习的主要内容 如何由数据或经验建模 n参数学习(e.g.probabilities) n结构学习(e.g.BNgraphs) n隐含概念学习(e.g.clustering) 机器学习的主要方法 n有监督（Supervised）学习 从输入和输出的实例中学习一个函数 n无监督（Unsupervised)学习 在未提供明确的输出的情况下,学习输入的模式 n强化(Reinforcement)学习 从强化物中学习,而不是根据教师所说的应该做什 么而学习 机器学习的分类 n目的 预测、诊断推理、知识发现

5、n方式 被动学习、主动学习、在线学习、离线学习 n输出 分类、回归、聚类 n模型 产生式、判别式 5.2概念学习 5.2.1概念学习的FIND-S算法 5.2.2FIND-S算法实例 5.2.1概念学习的FIND-S算法 *15 n 概念描述：每个概念可被看作一个对象或事件集合。 它是从更大的集合中选取的子集(如从动物的集合中选取 鸟类) 或者是在较大集合中定义的布尔函数(如在动物集合中定 义的函数f，f(鸟类)=true,f(其他动物)=false )。 n概念学习：从特殊的训练样例（关于某概念的正例和反例 ）中归纳出一般的概念描述（函数）或规则。它的一般操作 是泛化和特化。这也是机器学习的

6、中心问题。(对比定理证明 时使用的归纳法) n概念学习又称为归纳学习。 5.2.1概念学习的FIND-S算法 *16 n概念学习：是归纳学习的一种，指从有关某个布尔函数f（未知 ）的训练样例(输入,输出)中推断出该布尔函数f，或从样例中逼 近布尔函数f。该布尔函数f对未见实例确定其为正例或反例。 n概念学习的任务可描述为: 实例的集合:由各种属性值确定的元组（实例或特征向量）的 集合 候选假设的集合：为确定目标概念所考虑的概念的范围（假 设空间） 实例集合上的目标函数（要学习的概念或其逼近，最佳假设 ） 训练样例的集合（训练数据） 5.2.1概念学习的FIND-S算法 *17 候选假设的形式：

7、 实例的各属性的合取式，每个属性可取值： 由“?”表示任意本属性可接受的值 明确指定的属性值(如Warm) 由“”表示不接受任何值 如：“Aldo只在寒冷和潮湿的日子里进行水上运动”(并与其他属性无关)是 一个假设，可表示为: 最一般的假设是每一天都是正例（即每一天都进行水上运动），可表示为: 最特殊的假设即每一天都是反例（即哪一天都不进行水上运动），表示为: 5.2.1概念学习的FIND-S算法 FIND-S算法基本思想： 从最特殊的假设开始，即从“对实例的所有属性取任意 值时都是反例”的概念开始 然后，在该假设不能正确地划分一个正例时，修改假设 ，使它更具有一般性（泛化） 最终能正确地划分

8、所有的正例 如果训练样例没有错误，学习到的假设（目标概念或近 似）也能正确地划分所有的反例。这种形式表示的概念 也可以转换为规则的形式。 FindS算法 *19 1.将h初始化为H中最特殊假设 2.对每个正例x（循环） 对h的每个属性约束ai 如果x满足ai 那么不做任何处理 否则将h中ai替换为x满足的更一般的约束 3.输出假设h 5.2.2FIND-S算法实例 下面以FIND-S算法学习目标概念“Aldo进行水上运动 的日子”来说明FIND-S算法学习过程。 所谓学习目标概念“Aldo进行水上运动的日子”，就是 要学习“实例的各个属性满足哪些约束时，Aldo会去做水 上运动”。 本例中，实

9、例的属性与天气情况有关。 5.2.2FIND-S算法实例 *21 例: 假定给予学习器的一系列训练样例，如表所示。 ExampleSkyAirTempHumidityWindWaterForecastEujoySport 1SunnyWarmNormalStrongWarmSameYes 2SunnyWarmHighStrongWarmSameYes 3RainyColdHighStrongWarmChangeNo 4SunnyWarmHighStrongCoolChangeYes FindS：寻找极大特殊假设 *22 例: 假定给予学习器的一系列训练样例如前表所示。 FIND-S的第一步是将

10、h初始化为H中最特殊的假设: h 观察第一个训练样例时，它刚好是个正例，这时的h太特殊了 。每个属性应该都被替换成能拟合该例的下一个更一般的值约束 ： h 第2个训练样例(仍然为正例)迫使该算法进一步将h一般化。这 样假设变为: h 处理第3个训练样例，这是一个反例，h不变。 第4个正例使得h更一般: h 2.3变型空间和候选消除算法 n候选消除算法概说 n概念学习的一种方法，候选消除算法（candidate- elimination） n候选消除算法输出与训练样例一致的所有假设的集合 n候选消除算法在描述这一集合时不需要明确列举所有成员 n利用more_general_than偏序结构，可以

11、维护一个一致假设 集合的简洁表示 n候选消除算法的应用，化学质谱分析、启发式搜索的控制规则 n候选消除算法的缺点，容错性能差 变型空间和候选消除算法（2） n“一致”的定义 n一个假设h与训练样例集合D一致，当且仅当对D中每一 个样例都有h(x)=c(x)，即 Consistent(h,D)(D)h(x)=c(x) n变型空间（versionspace） n与训练样例一致的所有假设组成的集合 n表示了目标概念的所有合理的变型 n关于H和D的变型空间，记为VSH,D，是H中与训练样例D一 致的所有假设构成的子集 VSH,D=hH|Consistent(h,D) 变型空间和候选消除算法（3） n列

12、表后消除算法 表示变型空间的一种方法是列出其所有成员 n变型空间包含H中所有假设的列表 n对每个训练样例，从变型空间中移除所有h(x)c(x)的假设 n输出VersionSpace中的假设列表 n优点 n保证得到所有与训练数据一致的假设 n缺点 n非常繁琐地列出H中的所有假设，大多数实际的假设空间无法做到 变型空间和候选消除算法（4） n变型空间的更简洁表示 n变型空间被表示为它的极大一般和极大特殊的成员 n这些成员形成了一般和特殊边界的集合，这些边界 在整个偏序结构中划分出变型空间 n以EnjoySport为例 变型空间和候选消除算法（5） n形式化定义 n极大一般 n极大特殊 n关于假设空

13、间H和训练数据D的一般边界G，是在H 中与D相一致的极大一般成员的集合 n关于假设空间H和训练数据D的特殊边界S，是在H中 与D相一致的极大特殊成员的集合 变型空间和候选消除算法（6） n候选消除算法 n初始化G和S n如果d是一个正例 n从G中移去所有与d不一致的假设 n对S中每个与d不一致的假设s n从S中移去s n把s的所有的极小泛化式h加入到S中，其中h满足 nh与d一致，而且G的某个成员比h更一般 n如果d是一个反例 n从S中移去所有与d不一致的假设 n对G中每个与d不一致的假设g n从G中移去g n把g的所有的极小特殊化式h加入到G中，其中h满足 nh与d一致，而且S的某个成员比h

14、更特殊 n从G中移去所有这样的假设：它比G中另一个假设更特殊 变型空间和候选消除算法（7） n算法举例 S0 : S1 : S2 : G0: 1. , EnjoySport=Yes 2. , EnjoySport=Yes G1G2 算法举例(续) G0 ,G1 ,G2: 3. , EnjoySport=No S2, G3 : S3: 算法举例(续) 4. , EnjoySport=Yes S3 : G3 : S4 : G4 : 算法举例(续) The final version space for enjoysport concept learning task S4 : G4 : 变型空间和

15、候选消除的说明 n候选消除算法收敛到正确的假设 n训练样例中没有错误 nH中确实包含描述目标概念的正确假设 n如果样例中存在错误 n如果给定足够的训练数据，我们会发现S和G边界收 敛得到一个空的变型空间 概念学习 n通过样例学习到的目标概念，如h ，即为：三个属性Sky、AirTemp、Wind分别 取Sunny、Warm、Strong时（其它属性去任意值），是Aldo 进行水上运动的日子。 n对新实例分类 (Sunny、Warm、High、Strong、Cool、Same), Yes (Rainy、 Warm、High、Strong、Cool、Same), No n也可表示为如下规则： If

16、 Sky=SunnyAirTemp=Warm Wind=Strong then EnjoySport=Yes 概念学习学习到的h对实例集分类，或是学习目标概念“Aldo进 行水上运动的日子”对应目标“yes”的实例集 *34 5.3人工神经网络ANN n研究ANN: （1）探索和模拟人的感觉、思维和行为的规律， 设计具有人类智能的计算机系统。 （2）探讨人脑的智能活动，用物化了的智能来考 察和研究人脑智能的物质过程及其规律。 ANN的研究内容 （1）理论研究：ANN模型及其学习算法，试图从 数学上描述ANN的动力学过程，建立相应的ANN 模型，在该模型的基础上，对于给定的学习样本 ，找出一种能以较快的速度和较高的精度调整神 经元间互连权值，使系统达到稳定状态，满足学 习要求的算法。 （2）实现技术的研究：探讨利用电子、光学、生物 等技术实现神经计算机的途径。 （3）应用的研究：探讨如何应用ANN解决实际问 题，如模式识别、故障检测、智能机器人等。 研究ANN方法 （1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构， 把对人脑的微观结构及其智能行为的研究结合 起来即人工神经网络（A