《深度卷积神经网络--f in al》由会员分享，可在线阅读，更多相关《深度卷积神经网络--f in al（98页珍藏版）》请在金锄头文库上搜索。
1、目录,神经网络简要介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架及实例 深度学习在计算机视觉中的应用,神经网络简要介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架简介 在计算机视觉中的应用,目录,神经网络兴衰史,神经网络简要介绍,第一次兴起（1958年）：感知机，由于没有引入非线性，不能求解异或问题。,第二次兴起（1986年）：将BP(Back Propaga
2、tion)算法用于ANN的训练过程。,第三次兴起（2012年）：深度卷积神经网络的兴起，一直到现在。,BP算法：信号的正向传播和误差的反向传播。,萌芽期,1940s,MP 模型 阈值加和模型 Hebb学习 规则,第一次高潮,1960s,第二次高潮,1980s,第三次浪潮,2000s,感知器模型 自适应- 线性单元,Hopfield网络 Boltzman 机 BP算法,SVM Vapnik 95 Boosting Schapire 95,深度网络 DBN DBM Deep CNN RNN,G. E. Hinton Y. Bengio Y. Lecun Andrew Ng Rob Fergus,人
3、工神经网络发展历程,低谷,CNN LeCun 98,低谷,Deep Learning, Science 2006 (vol. 313, pp. 504-507),Neural networks are coming back!,人工神经网络发展历程,在语音识别取得重大突破,百度: deep speech,2011年以来，错误率降低2030%!,2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。,人工神经网络发展历程,Google Brain项目（纽约时报2012年6月
4、报道）,2011年开始，Google Brain 项目采用16000个CPU Core的并行计算平台训练“深层神经网络”，在图像识别等领域获取巨大成功！,吴恩达,人工神经网络发展历程,在图像处理和计算机视觉中的应用迅速展开,贾扬清等发布了卷积神经网络开源包Caffe 有力地促使了CNN技术从象牙塔走向工业界,人工神经网络发展历程,100:0战胜Lee版本，89:11战胜Master版本！,AlphaGo Zero,2017年10月,AlphaZero:最大特点是无需人类棋谱，仅利用围棋规则,Alpha-Fan,AlphaGo-Lee,AlphaMaster,AlphaZero,人工神经网络发展
5、历程,为什么有效 浅层神经网络可以近似任意函数，为何多层？ 深层网络结构中，高层可以综合应用低层信息。 低层关注“局部”，高层关注“全局”、更具有语义化信息。 为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。 特征提取与分类器可以一起学习。,人工神经网络发展历程,发展基础：,数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等,计算性能大幅提高,神经网络简要介绍,人类视觉机理：,David Hubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。,Low-level sensing,Preproc
6、essing,Feature extraction,Feature selection,Inference: prediction, recognition,本图取自：http:/ during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them,Input: An unlabeled image is shown to the pre-trained network,First Layer: the neuro
7、ns respond to different simple shapes, like edges,High Layer: the neurons respond to more complex structures,Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals,Output: The network predicts what the object most likely is, based on its train
8、ing,神经网络简要介绍,人工神经网络（Artificial Neural Networks， ANN）,-通过映射解决分类问题，对网络的训练即对映射函数的学习问题。,卷积层（5层）：用于特征提取,全连接（3层）:人工神经网络：用于分类,神经网络简要介绍,输入层（Input）：数据输入,隐含层（Hidden layer）：空间变换,输出（Output）,三层神经网络模型,曲线上的采样点是线性不可分,经空间变换后，曲线上的采样点是线性可分的,神经网络简要介绍,神经元,树突,输入,神经元 接收信号,隐含层输入,神经元激活 轴突发出信号,隐含层输出,ANN,ANN是对大脑神经元信号传输的模拟,神经网
9、络简要介绍,感知机（Perceptron）,通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）,公式表达：,可看作对输入的空间变换,四种空间变换：维度、缩放、旋转、平移,感知机中的线性映射限制了模型的表达能力，线性变化的组合仍为线性变化。,神经网络简要介绍,ANN基本构成：感知机（Perceptron）+激活函数,第五种空间变换：扭曲（非线性）,ANN每层输出为：,其中， 为激活函数（原来是阈值函数）,常用激活函数： Sigmoid Tanh(反正切函数）,感知机：线性变换 激活函数：非线性，引入非线性激活函数，提高网络的非线性表达能力,神经网络简要介绍,输入层,隐含层1,隐含层N
10、,分类输出,多层结构的人工神经网络,多层结构的ANN，从单层到多层的扩展：进一步提升对非线性的表达，得到更加抽象的特征表述。- 根据问题设计网络深度，一般35层。,人工神经网络单个节点输出,神经网络简要介绍,ANN训练：前向输出计算+反向梯度传播（BP算法）,设网络具有 层， 为 层中第 个节点输出， 表示从 到 的连接权重。,前向传播,1、计算每层中每个节点的输出,为激活函数,2、在输出层计算损失,为目标参考输出，一般从样本训练中得到。,loss,前向传播过程,1,神经网络简要介绍,ANN训练：前向输出计算+反向梯度传播（BP算法）,反向传播,3、由输出层开始逐层计算前层误差,4、修正连接权
11、重,ANN可视化平台Tensorflow playground,梯度反传过程,神经网络简要介绍,深度神经网络(DNN)-用神经网络模拟大脑的识别过程,神经网络-全连接 or 卷积？,图：全连接与卷积示意图,深度卷积神经网络介绍,底层提取初级特征 高层对低层特征组合与抽象,深度卷积神经网络介绍,卷积神经网络（CNN）：卷积+池化+全连接,卷积： 局部特征提取 训练中进行参数学习 每个卷积核提取特定模式的特征,池化（下采样）： 降低数据维度，避免过拟合 增强局部感受野 提高平移不变性,全连接： 特征提取到分类的桥梁,底层特征具有局部特性，因此可以利用卷积窗口进行特征提取。 图像中不同区域的底层特征
12、（如边界）具有相似性，可以共享一组滤波器。,用卷积代替全连接进行特征提取,对底层特征组合得到更具语义信息的高层特征。,深度卷积神经网络,深度卷积神经网络介绍,深度卷积神经网络介绍 经典深度神经网络模型 LeNet AlexNet VGGNet Network in Network (MIN) GoogLeNet ResNet 深度学习框架 在计算机视觉中的应用,目录,网络模型,LeNet,AlexNet,MIN,VGGNet,GoogLeNet (Inception),ResNet,Inception ResNet,图3：ILSVRC图像分类竞赛近年结果。,网络结构的改进,网络深度的增加,图2
13、：深度卷积神经网络发展图,图4：LeNet网络结构，来源于文献 1。,最早的深度卷积神经网络模型，用于字符识别。网络具有如下特点： 卷积神经网络使用三个层作为一个系列： 卷积，池化，非线性 使用卷积提取空间特征 使用映射到空间均值的下采样（subsample） 双曲线（tanh）或S型（sigmoid）形式的非线性 多层神经网络（MLP）作为最后的分类器,1 Y. Lecun, L. Bottou, Y. Bengio and P. Haffner. Gradient-Based Learning Applied to Document Recognition. Proceedings of
14、the IEEE, vol. 86, no. 11, 1998.,LeNet提供了利用卷积层堆叠进行特征提取的框架，开启了深度卷积神经网络的发展。,LeNet,AlexNet,AlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、 Dropout和Local Response Norm (LRN)等技巧。网络的技术特点如下： 使用ReLU （Rectified Linear Units）作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。 为避免过拟合，训练时使用Drop
15、out随机忽略一部分神经元。 使用重叠的最大池化(max pooling)。最大池化可以避免平均池化的模糊化效果，而采用重叠技巧可以提升特征的丰富性。 提出了LRN层（ReLU后进行归一化处理），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 利用GPU强大的并行计算能力加速网络训练过程，并采用GPU分块训练的方式解决显存对网络 规模的限制。,ReLU,数据增强。利用随机裁剪和翻转镜像操作增加训练数据量，降低过拟合。,Dropout,max pooling：池化时取最大值,2 Alex Krizhevsky, Ilya Sutskever and Geoffrey E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NIPS, 2012.,图：AlexNet网络结构，来源于文献2。网络包含5个卷积层和3个全连接层，最后为有1000个类别输出的Softmax层。网络在两块GPU上并行训练。,AlexNet,Conv 1111+ReLU/96,LRN,Max p
