人工智能课_5

《人工智能课_5》由会员分享，可在线阅读，更多相关《人工智能课_5（51页珍藏版）》请在金锄头文库上搜索。

1、第五章 机器学习 n概述 n实例学习 第五章 机器学习 n概述 n实例学习 机器学习 概述 n什么是机器学习？ nSimon（1983）：学习就是系统中的变化， 这种变化使系统比以前更有效地去做同样的工 作。 nMinsky (1985)：学习是在我们头脑中（心里 内部）进行有用的变化。 n学习是一种具有多侧面的现象。学习的过程 有：获取新的陈述性知识、通过教育或实践发 展机械技能和认知能力、将新知识组织成为通 用化和有效的表达形式、借助观察和实验发现 新的事实和新的理论。 机器学习 概述 n基本形式 n知识获取和技能求精。 学习的本质就是获取新的知识。包括物 理系统和行为的描述和建模，构造客

2、观现实 的表示。知识获取 n通过实践逐渐改造机制和认知技能。 例：骑自行车。这些技能包括意识的 或机制的协调。这种改进又是通过反复实践 和从失败的行为中纠正偏差来进行的。 技能求精 机器学习 概述 n基本形式 + 知识获取的本质可能是一个自觉的 过程，其结果是产生新的符号知识结构 和智力模型。而技能求精则是下意识地 借助于反复地实践来实现的。本章只涉 及学习的知识获取问题。 机器学习 概述 n为什么要研究机器学习？ n人工智能主要是为了研究人的智 能，模仿其机理将其应用于工程的科 学。在这个过程中必然会问道：“人 类怎样做才能获取这种特殊技能（或 知识）？”。 . 机器学习 概述 n为什么要研

3、究机器学习？ . n当前人工智能研究的主要障碍和发展 方向之一就是机器学习。包括学习的计算 理论和构造学习系统。现在的人工智能系 统还完全没有或仅有很有限的学习能力。 系统中的知识由人工编程送入系统，知识 中的错误也不能自动改正。也就是说，现 有的大多数人工智能是演绎的、没有归纳 推理，因而不能自动获取和生成知识。 . 机器学习 概述 为什么要研究机器学习？ . n未来的计算机将有自动获取知识的 能力，它们直接由书本学习，通过与 人谈话学习，通过观察学习。它们通 过实践自我完善，克服人的存储少、 效率低、注意力分散、难以传送所获 取得知识等局限性。一台计算机获取 的知识很容易复制给任何其它机器

4、。 机器学习 概述 n实现的困难： n 预测难：学习后知识库发生了什 么变化，系统功能的变化的预测。 n 归纳推理：现有的归纳推理只保 证假，不保证真。演绎推理保真。而 且，归纳的结论是无限多的，其中相 当多是假的，给生成的知识带来不可 靠性。 n 机器目前很难观察什么重要、什 么有意义。 机器学习 概述 n发展历史 n 神经系统模型和决策理论 n50年代开始。其特点是对开始与无初始 结构和面向作业知识的通用学习系统感兴趣。包 括构造多种具有随机或部分随机的初始结构的基 于神经模型的机器。这些系统一般称为神经网络 或自组织系统。由于当时计算机技术状态，多停 留在理论和硬件上。这些元件类似于神经

5、元，他 们实现简单的逻辑功能。 机器学习 概述 n发展历史 n 神经系统模型和决策理论 n1965年左右，神经网络经验模式导致了 模式识别这一新学科以及机器学习的决策理论方 法。这种方法中学习就是从给定的一组经过选择 的例子中获得判断函数，有线性的、多项式的、 或相关的形式。 n当时，Samuel(1059-1963)的跳棋程序是 最著名的成功的学习系统之一。达到了跳棋大师 的水平。 机器学习 概述 n符号概念获取 n1975年左右提出的。这类学习过 程通过分析一些概念的正例和反例构造 出这些概念的符号表示。表示的形式一 般是逻辑表达式、决策树、产生式规则 或语义网络。代表有Winston的A

6、RCH。 机器学习 概述 n知识加强和论域专用学习 n此方法是70年代中期开始，沿着 符号主义路线进行的。在原有基础上逐步 加强、重于专业的专用性。强调使用面向 任务的知识和它对学习过程的引导作用。 系统包括预先确定的概念、知识结构、轮 域约束、启发式规则和论域有关的变换。 系统在开始并不具有所有的属性或概念， 在学习过程中系统应得到一些新的属性或 概念。 n没有绝对的学习方法。许多系统体 现出上述途径的组合。 机器学习 概述 n机器学习进入新阶段的重要表 现：（近十年） n 机器学习已成为新的边缘科学 并在高校形成一门课程。它综合应 用心理学、生物学和神经生理学以 及数学、自动化和计算机科学

7、形成 机器学习理论基础。 机器学习 概述 n机器学习进入新阶段的重要表 现：（近十年） n结合各种学习方法，取长补 短的多种形式的集成学习系统的研 究正在兴起。特别是连接学习，符 号学习的耦合可以更好地解决连续 性信号处理中知识与技能的获取与 求精问题而受到重视。 机器学习 概述 n机器学习进入新阶段的重要表 现：（近十年） n机器学习与人工智能各种基 础问题的统一性观点正在形成。例 如：学习与问题求解结合进行，知 识表达便于学习的观点产生了通用 智能系统SOAR的组块学习。类比 学习与问题求解结合的基于案例学 习已成为经验学习的重要方向。 机器学习 概述 n机器学习进入新阶段的重要表现 ：（

8、近十年） n各种学习方法的应用范围不断扩大 ，一部分已形成商品。归纳学习的知识获取 工具已在诊断分类性专家系统中广泛应用。 连接学习在声图文识别中占优势。分析学习 用于设计综合性专家系统。遗传算法与强化 学习在工程控制中有较好的应用前景。与符 号系统耦合的神经网络连接学习将在企业的 智能管理与智能机器人运动规划中发挥作用 。 机器学习 概述 n机器学习进入新阶段的重要表 现：（近十年） n与机器学习有关的学术活动空 前活跃。国际上除每年一次的机器 学习研究会外，还有计算机学习理 论会议及遗传算法会议。 机器学习 概述 n机器学习模型 n学习是建立理论、形成假设和进行归纳推理的 过程。 n整个过

9、程包括：信息的存储、知识的处理两部 分 环境学习环节知识库 执行环节 机器学习 概述 n分类：按学习策略 n机械是学习和直接输入新知识（记忆学习） 学习这不需要进行任何推理或知识转换， 将知识直接装进机器中。 n根据示教学习（传授学习、指点学习） 从老师或其它有结构的事物获取知识。要 求学习者将输入语言的知识转换成它本身的内部表 示形式。并把新的信息和它原有的知识有机地结合 为一体。 . 机器学习 概述 . n通过类推学习（演绎学习） 学习者找出现有知识中所要产生的新概念 或技能十分类似的部分。将它们转换或扩大成适合 新情况的形式，从而取得新的事实或技能。 n从例子中学习（归纳学习） 给学习者

10、提供某一概念的一组正例和反例 ，学习者归纳出一个总的概念描述，是它适合于所 有的正例且排除所有的反例。（目前研究较多的一 种方法） . 机器学习 概述 . n 类比学习 演绎学习与归纳学习的组合。匹配不同论 域的描述、确定公共的结构。以次作为类比映射的 基础。寻找公共子结构是归纳推理，而实现类比映 射是演绎推理。 机器学习 概述 n研究目的 n希望得到通用的算法 n研究了解学习知识的模型、认知模型 n解决实际问题的知识库域系统，达到工 程目标 n研究特点 n不可预测性 第五章 机器学习 n概述 n实例学习 第五章 机器学习 n概述 n实例学习 实例学习 n概述 n50年代兴起的实例学习是归纳学

11、习的一种。目 前实例学习在某些系统中的应用已成为机器学习走 向实践的先导。 n环境提供给系统一些特殊的实例，这些实例事 先由施教者划分为正例和反例。实例学习系统由此 进行归纳推理得到一般规则。 n环境提供给学习环节的正例和反例是低水平的 信息，这是特殊情况下执行环节的行为。学习环节 归纳出的规则是高水平的信息，可以在一般情况下 用这些规则指导执行环节的工作。 实例学习 n实例学习的两个空间模型 例子 空间 规则 空间 选择例子 解释例子 实例学习 两个空间模型 n描述 n例子空间的描述语言可以描述所有例子；规则空间的可以 描述所有规则。 n例如：纸牌， 同花5张 n正例：(2, c), (3,

12、 c), (5, c), (J, c), (A, c), 其中c，草花 club n规则：描述一手牌的全部谓词表达式的集合。 符号：SUIT(花色)，RANK（点数） 常量：A, 2, 3, , 10. J, Q, K, clubs(草花), diamonds(方块), hearts（红桃）, spades(黑桃) 合取连接词， 存在量词 所以有规则：对c1, c2, c3, c4, c5 SUIT(c1, *)SUIT(c2, *)SUIT(c3, *)SUIT(c4, *)SUIT(c5, *) 实例学习 两个空间模型 n例子空间 n示教例子的质量。不能有错，同时提供正例和 反例，逐步分批

13、由选择地送入。 n选择的条件：最有力地划分规则空间；证实肯 定假设规则的集合；否定否定假设规则的集合。 n搜索方法。 实例学习 两个空间模型 n解释例子 n解释例子的目的是从例子中提出用于搜索空间 的信息。把示教离子变换成易于进行符号归纳的形 式。 n例如：Winston的积木世界中的“拱”的概念。 实例学习 两个空间模型 n规则空间 n最根本，真正学习的部分。 n定义：一套符号来规定表示规则的算符、术语 ，所有的描述都在其中。 n归纳方法：从特殊到一般的推理 n常量化为变量。例P189，从几个正例中找到共性 的部分改成变量。 n去掉条件。同上例。去掉牌点数这个条件 n增加选择（析取）。例人脸

14、牌。从RANK(c1, J), RANK(c2, K)推出还有RANK(c3, Q) n曲线拟合。几组值，解方程或用最小二乘法拟合 成一条曲线或曲面。 实例学习 两个空间模型（规则空间） n不管是去掉还是增加，都是扩大范围。 把已有的知识总结归纳推广。但是要小心。越快 越强的方法越容易出错。原因是归纳推理方法是 保假不保真。 n实际上没有很严格的具体方法。 n因此，用归纳方法的过程就是搜索过程 。找到包含在少数例子中的正确信息。归纳出错 就要回溯。要经常检验，用新例子去否定归纳出 的错误规则。即解释例子和选择例子的反复，反 复于例子空间和规则空间之间。 实例学习 两个空间模型（规则空间） n对

15、规则空间的要求 n表示用适应于归纳。如：有谓词才可以增减；有 状态空间才能拟合。不同的归纳方法要求不同的规则表示 方法。如果规则空间描述的语言的表达能力较弱，可以使 用的归纳方法就比较少，规则空间的搜索反谓就比较小， 搜索就比较容易。但解决的问题就较少。因此，设计是在 规则空间表达能力与规则空间搜索难度之间进行权衡。 n表示和例子的一致。如相差很大，解释例子和选 择例子的过程就很复杂。 n引入新术语（规则空间）。当表示语言不能描述 学习过程中产生的新状态时，要产生新的术语。 实例学习 两个空间模型（规则空间） n搜索规则空间的方法 最终的目的是为了搜索，先建立一个假设 空间，在其中进行搜索。 方法：怎样改进假设规则机，以便求得要 求的规则。 n变形空间法Version-space：数据驱动 n改进假设法Hypothesis-refinement：数据 驱动 n产生与测试Generate and Test：模型驱动 n方案示例法Schema Instantiation：模型 驱动 n选择例子。 n选择合适的例子，以能更好的搜索。 实例学习 n 实例学习的分类 n按搜索方法分类： 变形空间法；改进假设法；产生与测试法； 方案示例法 n按论域分类： n数字表示：多用于电子工程、系统理论和模式分 析 知识：多项式、矩阵；系统：自