《机器学习的方法》由会员分享，可在线阅读，更多相关《机器学习的方法（10页珍藏版）》请在金锄头文库上搜索。
1、浅谈机器学习方法【摘 要】本文以什么是机器学习、机器学习的发展历史和机器学习的主要策略这一线索， 对机器学习进行系统性的描述。接着，着重介绍了流形学习、李群机器学习和核机器学习三 种新型的机器学习方法，为更好的研究机器学习提供了新的思路。【关键词】机器学习；人工智能；李群机器学习；核机器学习；流形学习Brief Remarks on Machine Learning Methods Zhen Panhao Abstract： First of all， machine learning is described systematically on the concept of machine
2、learning, the history and main strategies of machine learning. Then， three new machine learningmethods of manifold learning， Lie Group machine learning and nuclear machine learning are referred emphatically to provide anew way of thinking for better research on machine learning. Keywords： machine le
3、arning； artificial intelligence； Lie group machine learning； kernel machine learning； manifold learning 0 引言 计算机视觉是指用计算机实现人的视觉功能，希望能根据感知到的图像(视频)对实际的目 标和场景内容做出有意义的判断如何能正确识别目标和行为非常关键，其中一个最基本的和 最核心的问题是对图像的有效表达如果所选的表达特征能够有效地反映目标和行为的本 质，那么对于理解图像就会取得事半功倍的效果正因为如此，关于机器学习的发展历史特 征的构建和选取一直得到广泛关注近些年来人们已构建出许多特征，
4、并且得到了广泛的应 用，例如等等设计特征是一种利用人类的智慧和先验知识，并且将这些知识应用到目标和 行为识别技术中的很好的方式但是，如果能通过无监督的方式让机器自动地从样本中学习 到表征这些样本的更加本质的特征则会使得人们更好地用计算机来实现人的视觉功能，因此 也是近些年人们关注的一个热点方向深度学习(deeplearning)的目的就是通过逐层的构建 一个多层的网络来使得机器能自动地学习到反映隐含在数据内部的关系，从而使得学习到的 特征更具有推广性和表达力本文旨在向读者介绍深度学习的原理及它在目标和行为识别中 的最新动态，希望吸引更多的研究者进行讨论，并在这一新兴的具有潜力的视觉领域做出更
5、好的成果首先对深度学习的动机历史以及应用进行了概括说明；主要介绍了基于限制玻尔 兹曼机的深度学习架构和基于自编码器的深度学习架构，以及深度学习 近些年的进展，主要讨论了去噪自编码器(denoisingautoencoder)，卷积限制玻尔兹曼机，三 元因子玻尔兹曼机(3-way factorizedBoltzmannmachine)，以及神经自回归分布估计器(NADE) 等一些新的深度学习单元；对目前深度学习在计算机视觉中的一些应用以及取得的成果进 行介绍；最后，对深度学习与神经网络的关系，深度学习的本质等问题加以讨论，提出目前 深度学习理论方面需要解决的主要问题1机器学习的发展历程机器学习的
6、发展大致可以分为四个阶段.第一阶段：20世纪50年代中叶至60年代中叶这个时期是机器学习研究的热烈时代研 究对象是没有知识的学习，目标是各自组织和适应系统此阶段有两个代表，一是1957年 Rosenblatt提出了感知机算法，这是第一个具有重要学术意义的机器学习的算法二是50年 代末，Samuel编写了跳棋程序，利用启发式搜索技术，可以从经验和棋谱中进行学习，不 断调整棋盘评价函数，提高棋艺.第二阶段：20世纪60年代中叶至70年代中叶，机器学习的冷静时期本阶段是模拟人 类的学习过程，采用逻辑结构或图结构作为内部描述代表有：1969年Minsky与Papert出 版的对机器学习研究有深远影响的
7、著作 感知机一书.第三阶段：20世纪70年代中叶至80年代中叶，称为复兴时期在这个时期，人们从学 习单一概念延伸至学习的多个概念，探索不同的学习策略和各种学习方法在此阶段中，研究 者已经将机器学习系统与现实应用相结合，完成相应的学习过程，取得了很大的成功1980 年，在美国召开的第一届机器学习国际研讨会，标志着机器学习在全世界范围内的全面兴起.第四阶段：1986年至今由于作为机器学习科学基础之一的神经科学研究的重新兴起， 机器学习也进一步受到了人们的重视另一方面，对实验研究和应用研究得到前所未有的重 视.2.1机械学习机械学习是一种最基本的学习策略，把环境提供的信息简单存储起来，不经过任何推理
8、， “死记硬背”式的学习。适合于一些环境相对稳定，输入输出模式相对固定的系统中，例如医 生给病人看病。2.2传授学习传授学习又叫做指导式学习或示教学习。传授学习的学习过程可以简单地描述如下：（1） 请求：先向指导者请求提出建议；（2）解释：接受建议并将其转化为内部表示形式；（3）操 作化：将解释后的建议转化为具体的知识；4）归并：将得到的新知识归并到知识库中；（5） 评价：对新知识进行评价，常用方法有，检查新知识与知识库里的知识是否矛盾，或者使 用新知识执行某些任务，观察其执行情况。2.3演绎学习演绎学习以演绎推理为基础。演绎推理是一种有一般到个别的推理方法，其核心是三段 论。例如，1动物都会
9、死亡；2狗是一种动物；3狗会死亡。只要对给定的知识进行演绎的 保真推理，就能得出一个正确的新结论，然后把有价值的结论存储起来。2.4归纳学习归纳学习以归纳推理为基础。从某个概念的一系列正例和反例中归纳出一个一般的概念 描述。归纳学习可分为有导师学习和无导师学习。有导师学习，又称示例学习。给学习系统 提供正例和反例，学习系统通过归纳算法求解出一个总的概念描述。无导师学习，又称观察 与发现学习。通过由环境提供的观察来进行学习，而且这些观察是未经过知道者分类的例子。 2.5类比学习类比学习是一种利用相似性来认识新事物的学习方式，其基础是类比推理。可以看作是 演绎学习和归纳学习的组合学习形式。学习过程
10、：（1）联想搜索匹配：提取特征值，搜索和它相似的已知事物；（2）检验相似程度：判断相似程度，相似程度达到一定阈值，则说明匹配成功；（3）修正变换求解：即类比映射，把对已知事物的有关知 识进行适当的调整或变换，以求出新事物的解；（4）更新知识库：求出新事物的解以后，将新事物及其解 并入知识库。3 机器学习方法31流形学习现实世界中的数据，例如语音信号、数字图像或功能性磁共振图像等，通常都是高维数 据，为了正确地了解这些数据，我们就需要对其进行降维，降维的目的就是要找出隐藏在高 维数据中的低维结构。流形学习是一种新的数据降维方法，能揭示数据的内在变化规律，其 目标是发现嵌入在高维数据空间中的低维流
11、形结构，并给出一个有效的低维表示。2000年 以来，流形学习在包括数据挖掘、机器学习、计算机视觉等多个研究领域得到了广泛的 应用。3.2李群机器学习李群机器学习（Lie Group Machine Learning, LML）作为机器学习领域的一种新的学习 方法，一方面继承流形学习的优点，另一方面借用李群的思想，形成了具有创新特色的学习 范式.自2004年提出至今，已引起加拿大、爱尔兰、芬兰、意大利、美国等国内外同行的 广泛关注。李群结构是目前学术界公认的对学习问题研究很有用的一套理论工具。从数据分 析的角度来说，用机器学习进行数据分析（数据挖掘），其目的就是揭示这些数据具有的规 律，从而帮助
12、用户提供解释的依据。李群一方面具有好的数学结构，另一方面物理学家广泛 使用李群方法来处理物理学中复杂数据的启发。因此，引进李群理论对机器学习是一种可以 探索的新思路。3.3核机器学习20世纪90年代初随着统计学习理论的完善和线性超平面函数集容量控制方法的发现， 提出了著名的支撑矢量机方法（SVMs）。随后，以支撑矢量机为核心算法的核机器（KM） 方法和Fisher判断分析（FDA）方法得到了机器学习、模式识别、网络搜索引擎技术、计算 机视觉等等领域的广泛关注。核机器方法以统计学习理论为基础，巧妙利用了 Mercer核技 巧，使其获得了良好的推广能力、强大的非线性处理能力、灵活的相似性测度定义和
13、简洁的 模型表示，是目前在特征提取、模式识别、数据发掘领域公认的具有最佳性能的方法之一。 41基于限制玻尔兹曼机的深度学习架构玻尔兹曼机（Boltzmannmachine）本质上是一种能量模型能量模型是指对于参数空间 （configurationspace）中每一种情况均有一个标量形式的能量与之对应能量函数就是从参数 空间到能量的映射函数，人们希望通过学习使得能量函数有符合要求的性质从结构上来说， 玻尔兹曼机是双层无向全连通图，如图3所示为了方便起见，这里仅讨论观测变量和隐变 量均是0 1变量的情况林2图3玻尔兹曼机示意图Fig. 3 The illustration of Boltzmann
14、 machine 玻尔兹曼机的能量函数为E( x, h) =bxchhWxxUxhVh ( 1)式中，x表示可见层， h表示隐层，b 0, 1K, c0, 1D分别表示可见层和隐层单元的偏置(offset) , KD分别 表示可见层和隐层单元的数目WUV分别表示观测层和隐层之间，观测层变量之间，隐层 变量之间的连接权重矩阵在实际中，由于计算样本概率密度时归一化因子的存在，需要使用 马尔可夫蒙特卡洛方法(MCMC)来对玻尔兹曼机进行优化但是MCMC方法收敛速度很慢, 因此人们提出限制玻尔兹曼机和对比散度方法来解决这一问题4.2限制玻尔兹曼机限制玻尔兹曼机是对全连通的玻尔兹曼机进行简化,其限制条件
15、是在给定可见层或者隐 层中的其中一层后，另一层的单元彼此独立，即式(1)中U和V矩阵中的元素均等于0层 间单元独立的条件是构成高效的训练限制玻尔兹曼机的方法的条件之一，而RBM也因此 成为深度置信网络(DBN)的构成单元 限制玻尔兹曼机的图模型如图4所示可见，层内单元 之间没有连接关系，层间单元是全连接关系图4限制玻尔兹曼机示意图Fig. 4 Tlie illustration of rest lie ted Bohzmann machine将式(1)中层间连接矩阵U, V置零，得到限制玻尔兹曼机的能量函数E( x, h) =bxch hWx由于限制玻尔兹曼机取消了层内单元之间的连接，所以可以
16、将其条件概率分布进行 分解，这样就简化了模型优化过程中的运算但是在其优化过程中仍然需要基于MCMC方 法的吉布斯采样，训练过程仍然十分漫长，因此人们提出对比散度方法来加快模型优化 对比散度(contrastivedivergence)是Hinton在2006年提出来的快速地训练限制玻尔兹曼机的 方法，该方法在实践中得到广泛的应用对比散度主要是将对数似然函数梯度的求解进行了 两个近似：(1) 使用从条件分布中得到的样本来近似替代计算梯度时的平均求和这是因为在进行随机 梯度下降法进行参数优化时已经有平均的效果，而如果每次计算都进行均值求和则这些效果 会相互抵消，而且会造成很大的计算时间的浪费(2) 在进行吉布斯采样(Gibbs sampling)时只采用一步，即仅仅进行一次吉布斯采样这种一 次吉布斯采样方法会使得采样得到的样本分布与真实分布存在一定的
