《卷积神经网络CNN学习教案》由会员分享，可在线阅读，更多相关《卷积神经网络CNN学习教案（26页珍藏版）》请在金锄头文库上搜索。
1、会计学1卷积神经网络卷积神经网络CNN第一页，共26页。主要主要(zhyo)(zhyo)内容内容 卷积神经网络卷积神经网络 诞生背景与历程诞生背景与历程 卷积神经网络应用卷积神经网络应用LeNet-5LeNet-5手写数字手写数字识别识别(shbi)(shbi) 深度学习深度学习HintonHinton做了些什么做了些什么 深度学习在数字图像识别深度学习在数字图像识别(shbi)(shbi)上的上的运用运用 HintonHinton如何在如何在20122012年年ImageNetImageNet引起轰引起轰动动第1页/共25页第二页，共26页。卷积神经网络提出卷积神经网络提出(t ch)(t
2、ch)的背景的背景n n浅层神经网络浅层神经网络n n大约二三十年前，神经网络曾经是机器学习大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向领域特别热门的一个方向(fngxing)(fngxing)，这种，这种基于统计的机器学习方法比起过去基于人工基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。规则的专家系统，在很多方面显示出优越性。第2页/共25页第三页，共26页。卷积神经网络提出卷积神经网络提出(t ch)(t ch)的背景的背景n n 但是后来，因为但是后来，因为(yn wi)(yn wi)理论分析的难度，加上训练方法需要理论分析的难度，加上训练
3、方法需要很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络很多经验和技巧，以及巨大的计算量和优化求解难度，神经网络慢慢淡出了科研领域的主流方向。慢慢淡出了科研领域的主流方向。n n值得指出的是，神经网络（如采用误差反向传播算法：值得指出的是，神经网络（如采用误差反向传播算法：Back Back PropagationPropagation，简称，简称BPBP算法，通过梯度下降方法在训练过程中修算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散（传播时容易出现所谓
4、的梯度弥散Gradient DiffusionGradient Diffusion或称之为或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于而处理浅层结构（小于等于3 3），从而限制了性能。），从而限制了性能。第3页/共25页第四页，共26页。浅层神经网络的缺浅层神经网络的缺陷陷(
5、quxin)(quxin)n n于是，于是，2020世纪世纪9090年代，有更多各式各样的浅层模型相继被提出年代，有更多各式各样的浅层模型相继被提出(t (t ch)ch)，比如只有一层隐层节点的支撑向量机（，比如只有一层隐层节点的支撑向量机（SVMSVM，Support Support Vector MachineVector Machine）和）和BoostingBoosting，以及没有隐层节点的最大熵方法，以及没有隐层节点的最大熵方法（例如（例如LRLR，Logistic RegressionLogistic Regression）等，在很多应用领域取代了传）等，在很多应用领域取代了传
6、统的神经网络。统的神经网络。n n显然，这些浅层结构算法有很多局限性：在有限样本和计算单元显然，这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。更重要的是，浅层模型有一个特点，就是需力受到一定的制约。更重要的是，浅层模型有一个特点，就是需要依靠人工来抽取样本的特征。然而，手工地选取特征是一件非要依靠人工来抽取样本的特征。然而，手工地选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。常费力的事情，能不能选取好很大程度上靠经验和运气。n n能不能自动地
7、学习一些特征呢？能不能自动地学习一些特征呢？第4页/共25页第五页，共26页。卷积神经网络卷积神经网络n n早在早在19891989年，年，Yann LeCun (Yann LeCun (现纽约大学教授现纽约大学教授) ) 和他的同事们就发表了卷和他的同事们就发表了卷积神经网络（积神经网络（Convolution Neural NetworksConvolution Neural Networks， 简称简称CNNCNN）的工作。）的工作。n nCNNCNN是一种带有卷积结构是一种带有卷积结构(jigu)(jigu)的深度神经网络，通常至少有两个非线的深度神经网络，通常至少有两个非线性可训练的
8、卷积层，两个非线性的固定卷积层（又叫性可训练的卷积层，两个非线性的固定卷积层（又叫Pooling LayerPooling Layer）和）和一个全连接层，一共至少一个全连接层，一共至少5 5个隐含层。个隐含层。n nCNNCNN的结构的结构(jigu)(jigu)受到著名的受到著名的Hubel-WieselHubel-Wiesel生物视觉模型的启发，尤其生物视觉模型的启发，尤其是模拟视觉皮层是模拟视觉皮层V1V1和和V2V2层中层中Simple CellSimple Cell和和Complex CellComplex Cell的行为。的行为。第5页/共25页第六页，共26页。第6页/共25页
9、第七页，共26页。卷积神经卷积神经(shnjng)(shnjng)网络应网络应用用n nLeNet-5LeNet-5手写数字手写数字手写数字手写数字(shz)(shz)识别识别识别识别三大特点：三大特点：1、局部感受、局部感受(gnshu)野野2、权值共享、权值共享3、次采样（、次采样（pooling）第7页/共25页第八页，共26页。重点重点(zhngdin)(zhngdin)概概念念n n卷积核（卷积滤波器）卷积核（卷积滤波器）n n特征图（特征图（Feature MapFeature Map）n nC C层是一个卷积层：层是一个卷积层：n n通过卷积运算，可以使原信号通过卷积运算，可以使
10、原信号特征增强，并且降低噪音特征增强，并且降低噪音n nS S层是一个下采样层：层是一个下采样层：n n利用图像局部相关性的原理，利用图像局部相关性的原理，对图像进行子抽样，可以减少对图像进行子抽样，可以减少数据处理量同时保留有用信息数据处理量同时保留有用信息n nF6F6层是经典神经网络：层是经典神经网络：n n输入向量和权重向量之间的点输入向量和权重向量之间的点积，再加上一个偏置。然后将积，再加上一个偏置。然后将其传递给其传递给sigmoidsigmoid函数产生函数产生(chnshng)(chnshng)单元单元i i的一个状态。的一个状态。第8页/共25页第九页，共26页。C1C1层：
11、层：输入输入(shr)(shr)图片大小：图片大小：32*3232*32卷积窗大小：卷积窗大小：5*55*5卷积窗种类：卷积窗种类：6 6输出特征图数量：输出特征图数量：6 6输出特征图大小：输出特征图大小：28*2828*28(32-5+1)(32-5+1)神经元数量：神经元数量：4707 (28*28)*6) 4707 (28*28)*6) 连接数：连接数：12304 (5*5+1)*6*(28*28)12304 (5*5+1)*6*(28*28)可训练参数：可训练参数：156 156 (5*5+1)*6(5*5+1)*6第9页/共25页第十页，共26页。S2S2层：层：输入图片大小：输入
12、图片大小：(28*28)*6(28*28)*6卷积窗大小：卷积窗大小：2*22*2卷积窗种类：卷积窗种类：6 6输出下采样图数量：输出下采样图数量：6 6输出下采样图大小：输出下采样图大小：(14*14)*6(14*14)*6神经元数量：神经元数量：11761176(14*14)*6(14*14)*6连接数：连接数：58805880(2*2+1)*(14*14)*6(2*2+1)*(14*14)*6可训练可训练(xnlin)(xnlin)参数：参数：1212(6*(1+1)(6*(1+1)第10页/共25页第十一页，共26页。卷积和子采样过程：卷积和子采样过程：卷积过程包括：用一个可训练的滤波
13、器卷积过程包括：用一个可训练的滤波器fxfx去卷积一个输入的图像（第去卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征一阶段是输入的图像，后面的阶段就是卷积特征mapmap了），然后加一个偏置了），然后加一个偏置bxbx，得，得到卷积层到卷积层CxCx。子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量子采样过程包括：每邻域四个像素求和变为一个像素，然后通过标量Wx+1Wx+1加权，再增加偏置加权，再增加偏置bx+1bx+1，然后通过一个，然后通过一个sigmoidsigmoid激活函数，产生一个大概激活函数，产生一个大概(dgi)(dgi)缩小四倍的特征映射图缩小四
14、倍的特征映射图Sx+1Sx+1。第11页/共25页第十二页，共26页。C3C3层层输入图片大小：输入图片大小：(14*14)*6(14*14)*6卷积窗大小：卷积窗大小：5*55*5卷积窗种类：卷积窗种类：1515输出特征图数量：输出特征图数量：1616输出特征图大小：输出特征图大小：10*10 (14-5+1)10*10 (14-5+1)神经元数量：神经元数量：1600 (10*10)*16)1600 (10*10)*16)连接数：连接数： 151600 (60+16)*(10*10)*25 151600 (60+16)*(10*10)*25 （部分（部分(b fen)(b fen)连接）连
15、接）可训练参数：可训练参数：1516 1516 (60+16)*25(60+16)*25(C3(C3中的每个特征中的每个特征mapmap是连接到是连接到S2S2中的所有中的所有6 6个或者个或者(huzh)(huzh)几个特征几个特征mapmap的，表示本层的特征的，表示本层的特征mapmap是上一层提是上一层提取到的特征取到的特征mapmap的不同组合（这个做法也并不是唯一的的不同组合（这个做法也并不是唯一的)第12页/共25页第十三页，共26页。连接数计算：连接数计算：151600 = (60+16)*25*(10*10) 151600 = (60+16)*25*(10*10) 60 =
16、3*6+9*4+660 = 3*6+9*4+6；1616是因为每种神经元都有一个常数是因为每种神经元都有一个常数(chngsh)(chngsh)连接连接第13页/共25页第十四页，共26页。S4S4层：层：输入图片大小：输入图片大小：(10*10)*16(10*10)*16卷积窗大小：卷积窗大小：2*22*2卷积窗种类：卷积窗种类：1616输出输出(shch)(shch)下采样图数量：下采样图数量：1616输出输出(shch)(shch)下采样图大小：下采样图大小：(5*5)*16(5*5)*16神经元数量：神经元数量：400400(5*5)*16(5*5)*16连接数：连接数：2000200
17、0(2*2+1)*(5*5)*16(2*2+1)*(5*5)*16可训练参数：可训练参数：3232(16*(1+1)(16*(1+1)第14页/共25页第十五页，共26页。C5C5层：层：输入图片大小：输入图片大小：(5*5)*16(5*5)*16卷积窗大小：卷积窗大小：5*55*5卷积窗种类卷积窗种类(zhngli)(zhngli)：120120输出特征图数量：输出特征图数量：120120输出特征图大小：输出特征图大小：1*11*1(5-5+1)(5-5+1)神经元数量：神经元数量：120 120 (1*120)(1*120)连接数：连接数：48120 16*(5*5)+1*1*120(48
18、120 16*(5*5)+1*1*120(全连接）全连接）可训练参数：可训练参数：48120 16*(5*5)+1*1*12048120 16*(5*5)+1*1*120第15页/共25页第十六页，共26页。F6F6层：层：输入输入(shr)(shr)图片大小：图片大小：(1*1)*120(1*1)*120卷积窗大小：卷积窗大小：1*11*1卷积窗种类：卷积窗种类：8484输出特征图数量：输出特征图数量：8484输出特征图大小：输出特征图大小：1 1神经元数量：神经元数量：84 84 连接数：连接数：10164 120*8410164 120*84（全连接）（全连接）可训练参数：可训练参数：1
19、0164 120*8410164 120*84第16页/共25页第十七页，共26页。OUTPUTOUTPUT层：层：输入图片大小：输入图片大小：1*841*84输出特征图数量：输出特征图数量：1*101*10最后最后(zuhu),(zuhu),输出层有输出层有1010个神经元，是由径向基函数单元个神经元，是由径向基函数单元(RBF)(RBF)组成，组成，输出层的每个神经元对应一个字符类别。输出层的每个神经元对应一个字符类别。RBFRBF单元的输出单元的输出 , ,是由公式：是由公式： 第17页/共25页第十八页，共26页。卷积神经网络的衰卷积神经网络的衰落落(shuilu)(shuilu)n
20、n在很长时间里，在很长时间里，CNNCNN虽然在小规模的问题上，如手写数字，取得过当虽然在小规模的问题上，如手写数字，取得过当时世界最好结果，但一直没有取得巨大成功。这主要原因是，时世界最好结果，但一直没有取得巨大成功。这主要原因是，CNNCNN在在大规模图像上效果不好，比如像素很多的自然大规模图像上效果不好，比如像素很多的自然(zrn)(zrn)图片内容理解，图片内容理解，所以没有得到计算机视觉领域的足够重视。所以没有得到计算机视觉领域的足够重视。第18页/共25页第十九页，共26页。深度深度(shnd)(shnd)学习学习的崛起的崛起n n20122012年年1010月，月，Geoffre
21、y HintonGeoffrey Hinton和他的两个学生在著名的和他的两个学生在著名的ImageNetImageNet问题上用问题上用(shn yn)(shn yn)更深的更深的CNNCNN取得世界最好取得世界最好结果，使得图像识别大踏步前进。在结果，使得图像识别大踏步前进。在HintonHinton的模型里，输的模型里，输入就是图像的像素，没有用到任何的人工特征。入就是图像的像素，没有用到任何的人工特征。第19页/共25页第二十页，共26页。深度学习深度学习(xux)(xux)在在图像识别中的应用图像识别中的应用n n2012年6月，纽约时报披露了Google Brain项目，吸引(xy
22、n)了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16,000个CPU Core的并行计算平台去训练含有10亿个节点的深度神经网络（DNN，Deep Neural Networks），使其能够自我训练，对2万个不同物体的1,400万张图片进行辨识。n n在开始分析数据前，并不需要向系统手工输入任何诸如“脸、肢体、猫的长相是什么样子”这类特征。Jeff Dean说：“我们在训练的时候从来不会告诉机器：这是一只猫（即无标注样本）。系统其实是自己发明或领悟了猫的概念。”第20页/共25页第二十一页，共
23、26页。n n20142014年年3 3月，同样也是基于月，同样也是基于(jy)(jy)深度学习方法，深度学习方法，FacebookFacebook的的DeepFaceDeepFace项项目使得人脸识别技术的识别率已经达到了目使得人脸识别技术的识别率已经达到了97.25%97.25%，只比人类识别，只比人类识别97.5%97.5%的正确率略低那么一点点，准确率几乎可媲美人类。该项目利用了的正确率略低那么一点点，准确率几乎可媲美人类。该项目利用了99层的层的神经网络来获得脸部表征，神经网络处理的参数高达神经网络来获得脸部表征，神经网络处理的参数高达1.21.2亿。亿。第21页/共25页第二十二页
24、，共26页。n n这个惊人的结果为什么在之前没有发生？n n原因当然包括算法的提升，比如dropout等防止过拟合技术，但最重要的是，GPU带来的计算能力提升和更多的训练(xnlin)数据。百度在2012年底将深度学习技术成功应用于自然图像OCR识别和人脸识别等问题，并推出相应的桌面和移动搜索产品，2013年，深度学习模型被成功应用于一般图片的识别和理解。n n从百度的经验来看，深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率。可以很有把握地说，从现在开始，深度学习将取代“人工特征+机器学习”的方法而逐渐成为主流图像识别方法。第22页/共
25、25页第二十三页，共26页。总结总结总结总结(zngji)(zngji)(zngji)(zngji)n nANNANN（人工神经网络）又被称为浅层神经网络（人工神经网络）又被称为浅层神经网络（shallow neural shallow neural networknetwork，也可能使用了，也可能使用了CNNCNN的方法。的方法。n nCNNCNN（卷积神经网络）其实是已经很早提出来的理论，也得到（卷积神经网络）其实是已经很早提出来的理论，也得到了在字母识别数字识别上的好的运用，了在字母识别数字识别上的好的运用，letnet-5letnet-5。n nDNNDNN（深度（深度(shnd)(
26、shnd)神经网络）可近似为深度神经网络）可近似为深度(shnd)(shnd)卷积神卷积神经网络（经网络（CNNsCNNs），将卷积神经网络的深度），将卷积神经网络的深度(shnd)(shnd)大大加深。大大加深。第23页/共25页第二十四页，共26页。总结总结(zngji)(zngji)n n当下研究的热门是用更深层次的卷积神经网络模型用于图像和语音识别。难点在当下研究的热门是用更深层次的卷积神经网络模型用于图像和语音识别。难点在于训练使模型收敛。于训练使模型收敛。n nHintonHinton在在1212年年ImageNetImageNet能使错误率大大降低的关键不仅仅是增加了卷积神经网络
27、能使错误率大大降低的关键不仅仅是增加了卷积神经网络的深度，而之所以能训练深层次的网络使其达到收敛，原因是改进了卷积神经网的深度，而之所以能训练深层次的网络使其达到收敛，原因是改进了卷积神经网络的训练方式络的训练方式(fngsh)(fngsh)（ReLU+Dropout)ReLU+Dropout)。n nHintonHinton在在20122012年发表的关于图像处理的文章：年发表的关于图像处理的文章： n nimagenet-classification-with-deep-convolutional-neural-networksimagenet-classification-with-deep-convolutional-neural-networks第24页/共25页第二十五页，共26页。内容(nirng)总结会计学。输入向量和权重向量之间的点积，再加上一个偏置。输入图片大小：32*32。卷积窗大小：2*2。卷积窗大小：2*2。在开始分析数据前，并不需要向系统手工输入任何诸如“脸、肢体、猫的长相(zhngxing)是什么样子”这类特征。难点在于训练使模型收敛。imagenet-classification-with-deep-convolutional-neural-networks第二十六页，共26页。
