深度学习综述2讲解

《深度学习综述2讲解》由会员分享，可在线阅读，更多相关《深度学习综述2讲解（41页珍藏版）》请在金锄头文库上搜索。

1、深度学习 1 深度学习综述 深度学习概述 深度学习应用 深度学习框架 TensorFlow及其应用 2 深度学习概述 深度学习概述 深度学习的基本思想 Deep Learning 与 Neutral Network 深度学习训练过程 3 深度学习概述 深度学习 深度学习概述 4 例如视觉感知的例子，从开始的传感器中获取数据，然后通 过预处理，特征提取，特征选择，在到推理、预测或识别。 最后一个部分就是机器学习的部分。 中间的三部分就是特征表达。这部分主要靠人工提取特征。 机器学习解决图像识别等问题的思路 5 l深度学习：深度学习通过组合低层特征形成 更加抽象的高层表示属性类别或特征，以发 现数

2、据的分布式特征表示。 l深度神经网络：含有多个隐层的神经网络 深度学习基本概念 6 人脑视觉机理 深度学习基本概念 7 人脑视觉机理 人的视觉机理的信息处理是分级的 高层的特征是低层的组合，从低层到高层的特征越来越抽 象，越来越能表现语义或意图 抽象层面越高，存在的可能猜测就越少，就越利于分类。 深度学习基本概念 8 深度学习的基本思想 Deep Learning，我们需要自动地学习特征，假设我们有 一堆输入I（如一堆图像或者文本），假设我们设计了一 个系统S（有n层），我们通过调整系统中参数，使得它的 输出仍然是输入I，那么我们就可以自动地获取得到输入I 的一系列层次特征，即S1，, Sn。

3、 对于深度学习来说，其思想就是对堆叠多个层，也就是 说这一层的输出作为下一层的输入。通过这种方式，就可 以实现对输入信息进行分级表达了。 9 Deep Learning 与 Neutral Network 深度学习是机器学习研究中的一个新的领域，其 动机在于建立、模拟人脑进行分析学习的神经网 络，它模仿人脑的机制来解释数据，例如图像， 声音和文本。深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多 隐层的多层感知器就是一种深度学习结构。深度 学习通过组合低层特征形成更加抽象的高层表示 属性类别或特征，以发现数据的分布式特征表示 。 10 Deep Learning 与 N

4、eutral Network 11 深度学习的训练过程 第一步：使用自下而上非监督学习 从底层开始，一层一层的往顶层训练，采用无标定数据（有 标定数据也可）分层训练各层参数。 第二步：自顶向下的监督学习 这一步就是通过带标签的数据去训练，误差自顶向下传输， 对网络进行微调，基于第一步得到的各层参数进一步微调整 个多层模型的参数，这一步是一个有监督训练过程。 深度学习的第一步实质上是一个网络参数初始化过程。区别 于传统神经网络初值随机初始化，深度学习模型是通过无监 督学习输入数据的结构得到的，因而这个初值更接近全局最 优，从而能够取得更好的效果。 12 深度学习综述 深度学习概述 深度学习应用

5、深度学习框架 TensorFlow及其应用 13 深度学习应用 在最近几年里，深度学习在语音识别、图像 分类、文本理解等众多领域做出了巨大的贡 献，逐渐形成了一种从训练数据出发，经过 一个端到端（end-to-end）的模型，然后直 接输出得到最终结果的一种新模型。深度学 习让一些难得问题变得简单。 14 深度学习在农业方面的应用 1）玉米籽粒完整性识别的深度学习方法1 基于深度卷积神经网络的智能识别玉米籽 粒完整性方法。本网络结合池化和降采样 操作，基于卷积原理构建。通过对直接输 入的灰度图像进行卷积操作，逐层挖掘图 像的深层特征，实现对单玉米籽粒图像的 特征抽象和特征降维，在通过一个全连接

6、 网络 15 16 玉米籽粒完整性识别的深度学习方法 下图为BP网络识别原理 ： 玉米籽粒完整性识别的深度学习方法 下图为CNN网络识别原理： CNN网络识别原理 CNN网络直接以图像作为输入，这 使得CNN网络受人工干预更少。 卷积：通过卷积操作，CNN网络能 自动抽象和提取图像的特征。 降采样：是对输入图像进行降维，可 通过池化和等间隔采样的图像缩小来 实现。 17 玉米籽粒完整性识别的深度学习方法 CNN网络的输入图像是基于单籽 粒的图像，需要对多籽粒的图像 进行分割和提取。 18 19 玉米籽粒完整性识别的深度学习方法 BP神经网络训练误差变化曲线 BP神经网络训练结果如下所示： BP

7、网络错误识别的样本 使用456个测试样本对以训练好 的BP神经网络进行测试，识别 错误样本有128个，得到的识别 率为71.93%。 训练误差为0.122 玉米籽粒完整性识别的深度学习方法 经过3040个训练样本训练CNN深度网络，CNN训练误差的 变化曲线如下所示： CNN训练误差变化曲线 CNN深度网络达到的训练精度 为91.76%。 用456个测试样本对本网络进 行测试，识别错误样本有17个 ，得到的精度为96.271%。 CNN深度神经网路的识别准确 率还挺高。 20 CNN网络错误识别的样本 深度学习在农业方面的应用 2）Inference of Plant Diseases fro

8、m Leaf Images through Deep Learning2 本论文主要是通过深度学习方法来图像识别 能自动诊断农作物病害。本论文使用了 54306张有病害和健康的农作物叶片图片， 经过深度卷积神经网络训练，精确的分成 38种不同的农作物病害类型。 21 Inference of Plant Diseases from Leaf Images through Deep Learning 下面的图片来自于PlantVillage数据集的叶图像，代 表每个农作物-病害。 38种农作物病害叶片图片 22 Inference of Plant Diseases from Leaf Imag

9、es through Deep Learning 训练的结果 23 Inference of Plant Diseases from Leaf Images through Deep Learning 24 深度学习综述 深度学习概述 深度学习应用 深度学习框架 TensorFlow及其应用 25 深度学习框架 深度学习框架比较 26 深度学习框架 一、Caffe 卷积神经网络框架 Caffe，全称Convolution Architecture For Feature Extraction。Caffe是一个清晰，可读性高，快速的深度学习 框架。与TensorFlow一样，Caffe也是由C+

10、开发，Caffe也 是Google今年早些时候分布的DeepDream项目（可以识别 喵星人的人工智能神经网络）的基础。 二、Torch Torch是一个广泛支持机器学习算法的科学计算框架。易于 使用且高效，主要是以为一个简单的和快速的脚本语言 LuaJIT，和底层的C/CUDA 实现。Torch核心是神经网络， 它使用简单的优化库，同时具有最大的灵活性，实现复杂的 神经网络的拓扑结构。 27 深度学习框架 三、TensorFlow 四、Theano Theano是一个Python库，专门用于定义、优化、求值数学 表达式，效率高，适用于多维数组。 五、CNTK CNTK是微软公司研究深度学习和

11、人工智能领域研究的成果 Computational NetworkToolkit(CNTK)，CNTK是一个内置 了多种神经模型的算法工具包，支持NDL，MDL网络定义语 言。 28 深度学习综述 深度学习概述 深度学习应用 深度学习框架 TensorFlow及其应用 29 TensorFlow TensorFlow是谷歌基于DistBelief进行研发的第 二代人工智能学习系统，它的命名来源于本身的运 行原理。Tensor(张量)意味着N维数组，Flow（流） 意味着基于数据流图的计算，TensorFlow是张量从 图像的一端流动到另一端计算过程。TensorFlow是 将复杂的数据结构传输

12、至人工智能神经网络中进行 分析和处理过程的系统。TensorFlow是一个采用数 据流图，用于数值计算的开源软件库。 30 1、 高度的灵活性 2、 真正的可移植性 3、 多语言支持 TensorFlow的特点 31 TensorFlow的可视化工具-tensorboard：通过使用这个 工具可以很直观的看到整个神经网络的结构、框架。 展示一个神经网络结构，如下一页。 Tensorboard可视化 32 tensorboard 33 神经网络结构 TensorFlow应用 澳大利亚海洋生物家使用TensorFlow在数以万计 的高清照片中寻找海牛，以更好地了解这个濒临 灭绝的群体数量 日本的一

13、位农夫，训练的TensorFlow模型，按照 大小、形状以及其他特征来进行黄瓜分类。 发射科医生调整TensorFlow，在医学扫描中能够 识别帕金森病的迹象。 湾区的数据科学家在树莓派上使用TensorFlow来 追踪加州火车的动态。 34 TensorFlow应用：黄瓜分类 Makoto是一名在家经营黄瓜农场的日本人 ，在黄瓜分类吃了很多苦头。同一个品种 的黄瓜就有9种之多。一般来说，颜色鲜艳 、刺多、体态匀称的才算是好瓜。然而当 你刚摘了一根黄瓜，你得仔细观察它的长 短、粗细、颜色、纹理、是否有小刮痕、 弯的还是直的、刺多不多要跟9类标准对 应，看它属于哪一等级，但这不是一个容 易学的工

14、作。 35 TensorFlow应用：黄瓜分类机 Makoto家9类黄瓜图表，由上至下质量依次递减 Makoto通过黄瓜外形 、长度和弯曲度来分 拣识别。左图为 Makoto家黄瓜分类图 。 36 TensorFlow应用：黄瓜分类机 Makoto制作的黄瓜分类机工作场景：如果一根黄瓜属于某 一个品类，小刷子就会把它推到相应的箱盒里。 黄瓜分类机工作场景 37 TensorFlow应用：黄瓜分类机 下图是Makoto设计的黄瓜分选机的系统图解。 黄瓜分选机的系统图解 38 TensorFlow应用：黄瓜分类机 Makoto面临两大挑战： 第一大挑战：需要大量的训练数据。 第二大挑战：消耗大量的运算容量。 39 1魏英姿，谭龙田，欧阳海飞，赵祉淇.玉米籽粒完 整性识别的深度学习方法.沈阳理工大学学报 J.2016.36(4):1-6，智能识别单玉米籽粒完整性特征 2 SP Mohanty, D Hughes, M Salathe. Inference of Plant Diseases from Leaf Images through Deep Learning. arXiv.org.11 Apr 2016 参考文献 40 41