机器学习及进化计算

《机器学习及进化计算》由会员分享，可在线阅读，更多相关《机器学习及进化计算（32页珍藏版）》请在金锄头文库上搜索。

1、1 机器学习及进化计算机器学习及进化计算 授课：徐琴珍授课：徐琴珍 学时：学时：3636 2 主要教材及参考书目主要教材及参考书目 教材：教材：机器学习机器学习, Tom M. Mitchell, Tom M. Mitchell著，曾著，曾 华军，张银奎华军，张银奎 等译，机械工业出版社。等译，机械工业出版社。 参考书目：参考书目： 贝叶斯方法，贝叶斯方法，Tomas Leonaard, Tomas Leonaard, 机械工业出机械工业出 版社。版社。 进化计算，进化计算， 王正志，薄涛，国防科技大学出版社。王正志，薄涛，国防科技大学出版社。 神经网络设计，神经网络设计，Martin T.

2、HanganMartin T. Hangan等，机械工等，机械工 业出版社。业出版社。 3 考核方式考核方式 平时考核：课堂讨论平时考核：课堂讨论 选题：选题：决策树决策树、人工神经网络人工神经网络、评估假设评估假设、 贝叶斯学习贝叶斯学习、计算学习理论计算学习理论(PAC(PAC相关内容相关内容 等等) )、基于实例的学习基于实例的学习(k(k- -近邻，局部加权回近邻，局部加权回 归、归、RBFRBF等等) )、遗传算法遗传算法、学习规则集合学习规则集合 ( (序列覆盖算法、学习一阶规则等序列覆盖算法、学习一阶规则等) )、学习分学习分 析析、归纳和分析学习的结合归纳和分析学习的结合、增强

3、学习增强学习(Q (Q 学习、时间差分学习等学习、时间差分学习等) ) 期末考核期末考核 4 第一讲第一讲 机器学习的基本概念机器学习的基本概念 第第1章章 引言引言 什么是机器学习？什么是机器学习？ 为什么进行机器学习？为什么进行机器学习？ 如何利用机器学习解决问题？如何利用机器学习解决问题？ 5 什么是机器学习？什么是机器学习？ 直观地理解：直观地理解： 机器（计算机）的自我学习。机器（计算机）的自我学习。 例：例： 计算机能从医疗记录中学习，获取治疗新疾计算机能从医疗记录中学习，获取治疗新疾 病的最有效方法；病的最有效方法； 住宅管理系统分析住户的用电模式，以降低住宅管理系统分析住户的用

4、电模式，以降低 能源消耗。能源消耗。 6 为什么进行机器学习？为什么进行机器学习？ 包括人工智能、概率统计、信息论、神经包括人工智能、概率统计、信息论、神经 生物学等学科的发展为机器学习提供了丰生物学等学科的发展为机器学习提供了丰 富的素材；富的素材； 不断增长的在线（实时）数据量；不断增长的在线（实时）数据量； 可以有效地利用计算机的计算性能；可以有效地利用计算机的计算性能； 产业发展的推动；产业发展的推动； 机器学习适用的三大领域机器学习适用的三大领域: : 7 机器学习适用的三大领域机器学习适用的三大领域 数据挖掘：用历史数据提高决策能力。数据挖掘：用历史数据提高决策能力。 例：医疗数据

5、例：医疗数据诊断知识诊断知识(data (data knowledge)knowledge) 人们无法手工操作实现，而应用软件却可人们无法手工操作实现，而应用软件却可 以。以。 例例: : 自动驾驶；语音识别自动驾驶；语音识别 个性定制程序。个性定制程序。 例：掌握用户兴趣的新闻广播员例：掌握用户兴趣的新闻广播员 8 典型的数据挖掘实例典型的数据挖掘实例 数据：数据： 给定给定97149714个病历记录，每条记录描述了怀个病历记录，每条记录描述了怀孕及生产的信息孕及生产的信息 每条病历记录包含每条病历记录包含215215个特征个特征 9 数据特征数据特征 Patient103 time=1 A

6、ge: 23 FirstPregnancy: no Anemia: no PreviousPrematureBirth: no Diabetes: no Ultrasound: ? Elective CSection: ? Emergency CSection: ? . Patient103 time=2 Age: 23 FirstPregnancy: no Anemia: no PreviousPrematureBirth: no Diabetes: YES Ultrasound: abnormal Emergency CSection: ? Elective CSection: no .

7、. Patient103 time=n Age: 23 FirstPregnancy: no Anemia: no PreviousPrematureBirth: no Diabetes: no Elective CSection: no Ultrasound: ? Emergency CSection: Yes . 要求预测：要求预测： 未来病历中需要紧急剖腹产的病人未来病历中需要紧急剖腹产的病人 10 如何利用机器学习解决问题如何利用机器学习解决问题 学习问题的标准描述（学习问题的标准描述（Section 1.1Section 1.1） 设计学习系统（设计学习系统（Section 1.2)

8、Section 1.2) 11 什么是学习问题？什么是学习问题？ 定义：定义： 对于某类任务对于某类任务T T 和性能度量和性能度量P P ，如果一个，如果一个 计算机程序在计算机程序在T T 上以上以P P 衡量的性能随着经衡量的性能随着经 验验E E 而自我完善，那么我们称这个计算机而自我完善，那么我们称这个计算机 程序在从经验程序在从经验E E 学习。学习。（例：水果分类（例：水果分类, , 手手 写字体的识别，机器人驾驶）写字体的识别，机器人驾驶） 广义理解：广义理解： 任何计算机程序通过经验来提高某任务处任何计算机程序通过经验来提高某任务处 理性能的行为理性能的行为 。 12 如何设

9、计学习系统？如何设计学习系统？(1) 选择训练经验选择训练经验 a) a) 训练经验能否为系统的决策提供直接或间训练经验能否为系统的决策提供直接或间接的反馈接的反馈 ？( (特征抽取、选择？特征抽取、选择？) ) b) b) 学习器可以在多大程度上控制训练样例序学习器可以在多大程度上控制训练样例序列列 ?(?(能否在线学习？能否在线学习？) ) c) c) 训练样例的分布能多好地表示实例分布训练样例的分布能多好地表示实例分布? ? 13 例：手写字体的识别学习问题例：手写字体的识别学习问题 要学习的知识的确切类型要学习的知识的确切类型 对于这个目标知识的表示对于这个目标知识的表示 一种学习机制

10、一种学习机制 14 如何设计学习系统？如何设计学习系统？(2) 选择目标函数选择目标函数 学习任务学习任务目标函数目标函数目标函数的逼近目标函数的逼近 V: Feature staticV: Feature statictarget output target output 选择目标函数的表示选择目标函数的表示 与学习机制有关：加权方式，推理方式等与学习机制有关：加权方式，推理方式等 15 如何设计学习系统？如何设计学习系统？(3) 选择函数逼近算法选择函数逼近算法( (学习机制学习机制) ) I. I.估计训练值估计训练值 II.II.调整权值调整权值( (或调整规则等或调整规则等) ) 1

11、6 学习过程的设计流程学习过程的设计流程 决定训练经验类型决定训练经验类型 决定目标函数的表示决定目标函数的表示 完成设计完成设计 决定目标函数决定目标函数 选择学习方法选择学习方法 17 第第2章章 概念学习和一般到特殊序概念学习和一般到特殊序 机器学习的中心问题：机器学习的中心问题： 从特殊的训练样例中归纳出一般函数（一从特殊的训练样例中归纳出一般函数（一般概念）。般概念）。 在两分类问题中，概念学习的定义为：在两分类问题中，概念学习的定义为： 从有关某个布尔函数的输入输出训练样例中，从有关某个布尔函数的输入输出训练样例中，推断出该布尔函数推断出该布尔函数 。 18 2.2.1 术语定义术

12、语定义 实例实例(instance)(instance) 属性属性(attribute)(attribute) 目标概念目标概念(target concept) : c(x)(target concept) : c(x) 训练样例训练样例(training examples) (training examples) 正例正例(positive example) (positive example) 、反例、反例 (negative example): (negative example): c(x)=1 or 0c(x)=1 or 0 所有可能假设所有可能假设(all possible (al

13、l possible hypotheses) : H(chypotheses) : H(c的所有可能假设的所有可能假设, ,从从 中搜索中搜索h(x)=c(x)h(x)=c(x) 19 表表2-1目标概念目标概念EnjoySport的正例和反例的正例和反例 Example Sky AirTemp Humidity Wind Water Forecast EnjoySport 1 Sunny Warm Normal Strong Warm Same Yes 2 Sunny Warm High Strong Warm Same Yes 3 Rainy Cold High Strong Warm C

14、hange No 4 Sunny Warm High Strong Cool Change Yes 术语定义术语定义 FindFind- -S S例例 20 2.2.2 归纳学习假设归纳学习假设 归纳学习假设归纳学习假设: : 任一假设如果在足够大的训练样例集中很好任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很地逼近目标函数，它也能在未见实例中很好地逼近目标函数。好地逼近目标函数。 21 2.3作为搜索的概念学习作为搜索的概念学习 概念学习的过程即搜索的过程概念学习的过程即搜索的过程 搜索范围：假设表示搜索范围：假设表示(H)(H)所隐含定义的整个所隐含定义的整个

15、空间。空间。 搜索目标搜索目标: :寻找能最好地拟合训练样例的假寻找能最好地拟合训练样例的假 设设h h。 学习算法不同，假设空间搜索的策略也不学习算法不同，假设空间搜索的策略也不 同。同。 22 More general than or equal to 定义：定义：令令h hj j 和和h hk k 为在为在X X上定义的布尔函数。上定义的布尔函数。定义一个定义一个moremore- -generalgeneral- -thanthan- -oror- -equalequal- -toto关系，记做关系，记做 g g。称。称h hj j g g h hk k当且当且仅当仅当( ( x xX X) ( ) ( h hk k ( (x x) =1)( ) =1)( h hj j ( (x x) =1) =1) 例：例：h h1 1=, ?, ? h h2 2=, ?, ?, ?, ?, ? 23 2.4 FIND-S: 寻找极大特殊假设寻找极大特殊假设 表表2 2- -3 Find3 Find- -S S算法算法 1.1.将将h h初始化为初始化为HH中最特殊假设中最特殊假设; ;