《机器学习-knn与贝叶斯学习部分(2017)》由会员分享，可在线阅读，更多相关《机器学习-knn与贝叶斯学习部分(2017)（128页珍藏版）》请在金锄头文库上搜索。
1、机器学习,For 2017研究生 主讲 李鹤喜,机器学习概述简介,1、概述 机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。,机器学习概述机器学习应用,2、机器
2、学习的应用 机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、汽车自动驾驶、语音和手写识别、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、战略游戏和机器人运用,Autonomous Drive,Autonomous Drive,Autonomous Drive,Autonomous Drive,Voice Recognition,Voice Recognition,Voice Recognition,Voice Recognition,Machine Vision,Machine Vision,Machine Vision,Machin
3、e Vision,Face Recognition,Face Recognition,Face Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Data Mining,Data Mining,Data Mining,Data Mining,Data Mining,人工智能与机器学习的关系,“人工智能的根本在于智能，如何为机
4、器赋予智能。而机器学习则是部署支持人工智能的计算方法。我的想法是：人工智能是科学，机器学习则是让机器变得更加智能的算法”。 Nidhi ChappelIntel的机器学习主管。,机器学习概述机器学习的定义,3、什么是机器学习？ 机器学习有下面几种定义： （1） “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 （2） “机器学习是对能通过经验自动改进的计算机算法的研究”。 （3） “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” （4）英文定义是：A computer program is said to learn
5、from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E,机器学习概述机器学习的发展历史,4、机器学习的发展历史 机器学习的研究基本上经历了以下几个发展时期 通用的学习系统研究， 基于符号表示的概念学习系统研究， 基于知识的各种学习系统研究， 联接学习和符号学习的深入研究。,（1）通用学习系统的研究 这一时期从50年代中叶开始，几乎
6、和人工智能学科的诞生同步。当时，人工智能的研究着重于符号表示和启发式方法的研究，而机器学习却致力于构造一个没有或者只有很少初始知识的通用系统，这种系统所应用的主要技术有神经元模型、决策论和控制论。 鉴于当时计算机技术的限制，研究主要停留在理论探索和构造专用的实验硬件系统。这种系统以神经元模型为基础，只带有随机的或部分随机的初始结构，然后给它一组刺激，一个反馈源和修改自身组织的足够自由度，使系统有可能自适应地趋向最优化组织。这种系统的代表是称为感知器的神经网络。,机器学习概述机器学习的发展历史,（1）通用学习系统的研究 这种系统的代表是称为感知器的神经网络。系统的学习主要靠神经元在传递信号的过程
7、中，所反映的概率上的渐进变化来实现。同时也有人开发了应用符号逻辑来模拟神经元系统的工作，如McCulloch 和 Pitts用离散决策元件模拟神经元的理论。相关的工作包括进化过程的仿真，即通过随机演变和“自然“选择来创造智能系统，如Friedberg的进化过程模拟系统。这方面的研究引出了二个副产品:形成了人工智能的一个新分支模式识别，并创立了学习的决策论方法。这个方法的学习含义是从给定的例子集中，获取一个线性的、多项式的或相关的识别函数。,机器学习概述机器学习的发展历史,（1）通用学习系统的研究 神经元模型的研究未取得实质性进展，并在60年代末走入低谷。作为对照，一种最简单、最原始的学习方法-
8、机械学习，又称为死记式学习，却取得了显著的成功。该方法通过记忆和评价外部环境提供的信息来达到学习的目的。采用该方法的代表性成果是塞缪尔(A.L.Samuel)于50年代末设计的跳棋程序，随着使用次数的增加，该程序会积累性记忆有价值的信息，可以很快达到大师级水平。正是机械学习的成功激励了研究者们继续进行机器学习的探索性研究。,机器学习概述机器学习的发展历史,（2）基于符号表示的概念学习系统研究 从60年代中叶开始，机器学习转入第二时期-基于符号表示的概念学习系统研究。当时，人工智能的研究重点已转到符号系统和基于知识的方法研究。如果说第一时期的研究是用数值和统计方法的话，这一时期的研究则综合了逻辑
9、和图结构的表示。研究的目标是表示高级知识的符号描述及获取概念的结构假设。这时期的工作主要有概念获取和各种模式识别系统的应用。其中，最有影响的开发工作当属温斯顿(Winston)的基于示例归纳的结构化概念学习系统。,机器学习概述机器学习的发展历史,（2）基于符号表示的概念学习系统研究 人们研究了从例子中学习结构化概念的各种不同方法。也有部分研究者构造了面向任务的专用系统，这些系统旨在获取特定问题求解任务中的上下文知识，代表性工作有亨特和哈兰德(Hunt & C.I.Hovland)的CLS和巴查纳(B.G.Buchanan)等的META-DENDRAL，后者可以自动生成规则来解释DENDRAL系
10、统中所用的质谱数据。这个时期机器学习的研究者已意识到应用知识来指导学习的重要性，并且开始将领域知识编入学习系统，如META-DENDRAL和里南(D.B.Lenat，1976)的AM等。,机器学习概述机器学习的发展历史,（3）基于知识的学习系统研究 起始于70年代中期的第三时期注重基于知识的学习系统研究。人们不再局限于构造概念学习系统和获取上下文知识，同时也结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。一些成熟的方法开始用于辅助构造专家系统，并不断地开发新的学习方法，使机器学习达到一个新的时期。,机器学习概述机器学习的发展历史,（3）基于知识的学习系统研究 这时期的工作特点主要有
11、三个方面: 1)基于知识的方法:着重强调应用面向任务的知识和指导学习过程的约束。从早先的无知识学习系统的失败中吸取的教训就是:为获取新的知识，系统必须事先具备大量的初始知识。 2)开发各种各样的学习方法，除了早先从例子中学习外，各种有关的学习策略相继出现，如示教学习, 观察和发现学习。同时也出现了如类比学习和基于解释的学习等方法。 3)结合生成和选择学习任务的能力:应用启发式知识于学习任务的生成和选择，包括收集数据的方式、选择要获取的概念与控制系统的注意力等。,机器学习概述机器学习的发展历史,（4）联接学习和符号学习的深入研究 第四时期开始于八十年代后期，联接学习和符号学习的深入研究导致机器学
12、习领域的极大繁荣。首先，神经网络的研究重新迅速崛起，并在声音识别、图象处理等诸多领域得到很大成功。一批在机器学习第一时期中从事研究的学者，经过坚持不懈的努力，发现了用隐含层神经元来计算和学习非线性函数的方法，克服了早期神经元模型的局限性。计算机硬件技术的高速发展也为开发大规模和高性能的人工神经网络扫清了障碍，使得基于人工神经网络的联接学习(Connectionist Learning)从低谷走出，发展迅猛，并向传统的基于符号的学了挑战。,一、机器学习概述机器学习的发展历史,（4）联接学习和符号学习的深入研究 与此同时，符号学习已经历了三十多年的发展历程，各种方法日臻完善，出现了应用技术蓬勃发展
13、的景象。最突出的成就有分析学习(特别是解释学习)的发展, 遗传算法的成功，和加强学习方法的广泛应用。特别是近几年来，随着计算机网络的发展，基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发都将机器学习的研究推向新的高度，网络环境已成为人工智能和机器学习的重要试验床。,一、机器学习概述机器学习的发展历史,大数据时代为什么更需要机器学习？,机器学习是人工智能的核心研究分支，旨在探究机器的拟人学习机制和方法，其成果已经广泛应用于自然语言理解、计算机视觉、图像处理、语音识别、信息检索、智能机器人等多个领域。近年来随着数据收集手段和能力的提升，可获取的数据量急剧增加，人们更迫切地从巨量数据中
14、发现隐藏的、有效的、可理解的知识。这已经带来了一场大数据的变革，而这场革命的核心技术就是高性能的大规模数据处理能力。而机器学习正是大数据分析的主要工具。,机器学习处理大数据的有效性,1、机器学习是拟人学习，处理大数据的智能 化程度高； 2、机器学习对大数据的处理是自动进行的， 自动化程度高，对海量数据优势突出； 3、机器学习具有自动记忆和自我知识提升 能力，所以通过知识、经验的积累，可以 产生质的飞跃； 4、机器学习可以发现规律、可以自己创建修缮 模型，自适应能力强。,一、机器学习概述三个密切相关的概念,人工智能、模式识别、机器学习是三个密切相关的概念 人工智能目的是给机器赋予人类的智能，让机
15、器能够像人类那样思考、判断和推理。当然，目前的人工智能没有发展到很高级的程度，这种智能与人类的大脑相比还是处于非常幼稚的阶段，但目前我们可以让计算机掌握一定的知识，更加智能化的帮助我们实现简单或复杂的活动。人工智能更关注的是符号信息与知识的推理，模式识别更关注感知信息处理，而机器学习是介于模式识别和人工智能之间，注重于模式识别中的学习问题。,我变聪明了,我学会认识鸟了！,一、机器学习概述三个密切相关的概念,人工智能、模式识别、机器学习是三个密切相关的感念，,机器学习通俗的说就是让机器自己去学习，然后通过学习到的知识来指导进一步的判断。举个最简单的例子，我们训练机器人识别鸟，我们用一堆的鸟的样本
16、数据来让计算机进行运算，样本数据可以是有类标签的，并设计惩罚函数，通过不断的迭代，机器就学会了怎样进行区分鸟和其它动物，使得惩罚最小，然后用学习到的分类规则进行预测等活动。,一、机器学习概述三个密切相关的概念,人工智能、模式识别、机器学习是三个密切相关的感念 模式识别模式识别偏重于对信号、图像、语音、文字、指纹等非直观数据的自动辨识处理，如语音识别、人脸识别、指纹识别、工件识别等，通过提取出相关的特征，利用这些特征和机器学习算法来进行搜寻我们想要找的目标，注重的是结果。,我认得： 这是一只鸟,人工智能、模式识别、机器学习三者之间的关系,人工智能,模式识别,机器学习,人工智能提供智能处理架构、概念和推理方法,机器学习提供自动学习的理论与方法是实现智能化的技术,模式识别是机器学习、人工智能的运用实践,一、机器学习概述三个密切相关的概念,一、机器学习概述机器学习分类,4、机器学习的种类 （1）监督学习从给定的训练数据集中学习出一个函数，当新的数据
