《模式识别与机器学习报告》由会员分享，可在线阅读，更多相关《模式识别与机器学习报告（6页珍藏版）》请在金锄头文库上搜索。
1、课程模式识别与机器学习题目卷积的深度信念网络学院自动化学院专业控制科学与工程学号2111404114姓名谢晶梅指导教师何昭水（201 5 年 06 月）基于分层表示的无监督学习的卷积深度信念网络引言：机器学习研究的主要任务是设计和开发计算机可以智能地根据实际数据进 行“学习”的算法，从而使这些算法可以口动地发现隐藏在数据中的模式和规律。 当前的深度模型，如卷积的深度信念网络(Convolutional Deep Belief Network, RDBN)深度信念网络(deep belief net, DBN)、深度玻尔兹曼机(deep Boltzmann machine , DBM ) 等均采
2、用的是由受限玻尔兹曼机(restricted Boltzmann machine , RBM )堆叠而成。在RBM中，可见层各单元之间与隐 藏层各单元Z间无连接的拓朴结构使得其模型相对简单，参数 学习相对容易，因此使用RBM作为构建深度模型的基础结构单 元成为研究人员的最佳选择.本论文中我们采用的是基于分层表示的无监督学习 的卷积深度信念网络，他是-种概率的降维技术手段，网络的第一、二和三层能 够学习到边缘检测、对象局部和对象。关键词：受限玻尔兹曼机；深度模型；隐藏单元；学习方法；卷积的深度信 念网络受限玻尔兹曼机RBM具冇二分图结构，且两层结点分别为可视单元(visible units)和隐
3、藏单元(hidden units) o每个可视单元描述了观察数据的一个方面或是一个特征，如对 于黑白图片而言，一个可视单元可能描述的就是图片某处是否为白色。而隐藏单 元的意义一般來说并不明确，也无法人为指定，往往是通过机器学习用算法按照 某种最优的方式口动决定的。因此，RBM也具备特征抽取1的功能隐藏单 元作为抽取得到的特征。虽然多数时候这些特征对人而言都是无法理解的，但从 统计意义上讲一定是有道理的。在最基本的RBM中，这两种单元均为二元取值 即，每个单元可能的状态仅有两个，一般表示为0和1, 0表示未激活，1 表示激活。所谓的激活，即是说该单元所代表的意义是成立的。不同于传统的第 二代神经
4、网络，RBM中存在随机因素，所有单元的取值构成了 RBM的一个状 态，并且这些状态服从一定的分布o Smolensky捉出了受限玻尔兹曼机 (restricted Boltzmann machine, RBM)模型，其结构如图 2 所示。与一般 BM 相 比，RBM具有更优的性质：在给定可见层单元输入时，各隐藏层单元的激 活条件独立；反之亦然。这样尽管RBM所表示的分布仍无法冇效计算，但 却可以通过Gibbs采样获得服从RBM分布的随机样本。图2 RBM模型结构示 意图RBM也可以被看作为一个无向图(undirected graph)模型，其中v为可见 层，用于表示输入数据，h为隐藏层，可以看
5、作为特征提取器，W为两层 间对称的连接权重。若一个RBM中可见层单元数为n,隐藏层单元数为m, 用向量V与h分别表示可见层与隐藏层的状态，当状态(v,h)给定时，与BM 类似，则RBM中的能量定义为：hidden unitsvisible unitsnmn mE(v,h I e)二 - -bjhj -vjWjjhji=1j=1i=1 j=1其中wij为可见单元i与隐藏单元j Z间的连接权重，ai为可见单元i的偏置, bj为隐藏单元j的偏置。0=wij,ai,bj指代RBM中所有参数集。当。确定 吋，则可根据式的能量函数获得(v,h)的联合概率为：p(v,hie)=-E(v,hl9),z(e)
6、= g-E(v,hie)其中z(0 )为保证P(v,h| 0 )成为概率分布的归一化项，也称为划分函数。若可 见单元服从某种概率分布，根据RBM的给定可见单元时各隐藏单元激活状态 独立的条件，可获得隐藏单元为1的条件概率为：mP(hlv,0)= JJp(h1lv,9)j=1同理，若令隐藏单元服从某种概率分布，可见单元向量v为1的条件概率分 布为：p(vih,e) = jjp(vjih,e)11因此可以获得在给定可见单元向量V时隐藏单元j的条件概率及给定隐藏单元 向量h时可见单元i为1的条件概率分布为：p(hj=iiv,e)M(bj+ 叫)is1m口x) =7r ：-其中丄+ e f 为sigm
7、oid激活函数。深度信念网络（DBNs）的模型和方法DBNs是一个概率生成模型，一个多随机变量的有向图，可以看作是多个RBM的叠加，在DBNs中，靠近可视层的那一层网络使用的是贝叶斯信念网, 而远离可视层的部分是RBMo下图是一个典型的DBNs网络模型：层 含层见可RBMRBMRBM知入由于RBM层间独立，因此，系统的联合概率分布可以表示为：尸（力2广1）= ”（巧+工匕叱J鉴丁传统神经网络训练模型存在诸多缺点，深度淫习使用全新的训练方法， 即在非监督数据上建立多层神经网络，训练时分两步走，第一步是分层次训练 网络，每次训练一个层次；第二步是参数调优，即有监督微调的过程。DBNs的 训练过程采
8、用逐层训练的方法，每次只训练一层RBM,这个过程和RBM的训 练是完全一样的，参数也是单独调整；训练完一层后，将该层的训练结杲作为卜 一层RBM的输入；如此直金每一层RBM都训练完成，这个过程也称Z为预 训练。RBM训练完成后，再根据样本的标签值，采用BP算法向后微调。具体 可以分为两部分：1）预训练，首先初始化深度信念网络参数，初始化的部分包括每一层的结点数 以及整个DBNs网络的其他部分，如Dropout大小，是否加入稀疏性，是否加 入噪声等。初始化完毕后，就可以单独训练每一层RBM,第一层的输出力1作w为第二层的输入，如此类推，保留每一层的权重/儿2)微调，待训练完成，为了使网络的性能更
9、优，可以根据样木的标签值， 采用梯度向下算法，对整个网络进行调整，这时候，DBNs网络就是一个普通的 神经网络，方法跟BP算法类似。只是在微调之前，各层的权重都是事先训练 好的，并非像神经网络一样是随机初始化的，所以只需耍少量的迭代，就可以得 到很好的效果。DBNs算法无论是在时间还是算法效率上都有很好的效果，尤其是在大数拯方 面；它可以看作是深度学习的里程碑，口前被广泛应用于包括图像，语咅，文档 等诸多方面，越來越多的人开始了对其理论和模型的研究。Gibbs采样算法Gibbs采样(Gibbs sampling)算法是一种基于马尔可夫链蒙 特卡罗 (Markov Chain Monte Car
10、lo, MCMC)策略的采样方 法。 给定一个N维的随机向量X=(X1,X2,XN), 若直接求取X 的联合分布P(X1,X2,XN)非常困难，但如杲可以在给定其他分 量时,求得第k个分量的条件分布P(Xk|Xk-),其中Xk=(Xl,X2, Xkl,Xk+l,.,XN)指代排除Xk的其他N1维的随机向量， 则可以 从X的个任意状态xl(0),x2(0),.,xk(0)l开始, 利用条件分布, 对各分量依次迭代采样。随着采样次数增加，随机变量xl(n), x2(n),.,xk(n)将会以几何级数的速度收敛于联合分布P(X1,X2,.,XN)。在训 练 RBM 的迭代过程中， 可以设置一个收敛到
11、 模型分布的马尔可夫链，将其运行到平衡状态时，用马尔可夫链近似期望值 Epmodel o使用Gibbs采样算法具有通用性好的优点，但是由于每次 迭代中都需要马尔可夫链达到极限分布，而Gibbs采样收敛度 缓慢，需要很长的时间，因此也限制了其应用。卷积的深度信念网络卷积神经网络(CNNs)是建立在传统人工神经网络上的一种深度学习算法，也 是第一个成功训练多层网络的学习算法。CNNs的权值共享减少系统参数，使得 算法性能得到提升。CNNs作为一个深度学习架构，其提出可以减少对数据的预 处理要求。在CNNs中输入是原始图像的一个小的部分，通过数字滤波器或者 降采样逐层去获得上一层的特征。卷积神经网络
12、是一个多层感知器，它在二维形 状识别方面应用广泛，优势明显；其中在图像识别和语音分析领域应用尤其广泛。 卷积的深度信念网络(CDBN)类似于卷积神经网络但又做出了根本性的改进， 其组成元件是卷积的受限玻尔兹曼机(CRBM)图是卷积的受限玻尔兹曼机 (CRBM)模型最下而一层为可视层V,中间一层为检测层H,上而一层为池层。其中检测层和池层都有K单元。训练模型是在RBM的基础上加上一个卷积经过 Gibbs采样得到。其结构图如下所示：Pk (poolinglayer)Hk (detection layer)V (visible layer)结论相比于深度信念网络（DBN）,卷积的深度信念网络（CDBN）具冇以下的优点:（1）对高维图像做全尺寸衡量（2）特征表示对输入的局部变换具有不变性（3）该方法的关键是加入了概率最大池（probabilistic max-pooling） 卷积的深度信念网络是一种概率的降维技术手段，网络的第一、二和三层能够学 习到边缘检测、对象局部和对象。
