《深度学习综述2》由会员分享，可在线阅读，更多相关《深度学习综述2（41页珍藏版）》请在金锄头文库上搜索。
1、深度学习1深度学习综述深度学习概述 深度学习应用 深度学习框架TensorFlow及其应用2深度学习概述深度学习概述 深度学习的基本思想 Deep Learning 与 Neutral Network深度学习训练过程3深度学习概述 深度学习深度学习概述4例如视觉感知的例子，从开始的传感器中获取数据，然后通 过预处理，特征提取，特征选择，在到推理、预测或识别。 最后一个部分就是机器学习的部分。 中间的三部分就是特征表达。这部分主要靠人工提取特征。机器学习解决图像识别等问题的思路5l深度学习：深度学习通过组合低层特征形成 更加抽象的高层表示属性类别或特征，以发 现数据的分布式特征表示。l深度神经网
2、络：含有多个隐层的神经网络深度学习基本概念6 人脑视觉机理深度学习基本概念7人脑视觉机理 人的视觉机理的信息处理是分级的 高层的特征是低层的组合，从低层到高层的特征越来越抽 象，越来越能表现语义或意图 抽象层面越高，存在的可能猜测就越少，就越利于分类。深度学习基本概念8深度学习的基本思想 Deep Learning，我们需要自动地学习特征，假设我们有 一堆输入I（如一堆图像或者文本），假设我们设计了一 个系统S（有n层），我们通过调整系统中参数，使得它的 输出仍然是输入I，那么我们就可以自动地获取得到输入I 的一系列层次特征，即S1，, Sn。 对于深度学习来说，其思想就是对堆叠多个层，也就是
3、 说这一层的输出作为下一层的输入。通过这种方式，就可 以实现对输入信息进行分级表达了。9Deep Learning 与 Neutral Network 深度学习是机器学习研究中的一个新的领域，其 动机在于建立、模拟人脑进行分析学习的神经网 络，它模仿人脑的机制来解释数据，例如图像， 声音和文本。深度学习是无监督学习的一种。 深度学习的概念源于人工神经网络的研究。含多 隐层的多层感知器就是一种深度学习结构。深度 学习通过组合低层特征形成更加抽象的高层表示 属性类别或特征，以发现数据的分布式特征表示 。10Deep Learning 与 Neutral Network11深度学习的训练过程第一步：
4、使用自下而上非监督学习 从底层开始，一层一层的往顶层训练，采用无标定数据（有 标定数据也可）分层训练各层参数。 第二步：自顶向下的监督学习 这一步就是通过带标签的数据去训练，误差自顶向下传输， 对网络进行微调，基于第一步得到的各层参数进一步微调整 个多层模型的参数，这一步是一个有监督训练过程。 深度学习的第一步实质上是一个网络参数初始化过程。区别 于传统神经网络初值随机初始化，深度学习模型是通过无监 督学习输入数据的结构得到的，因而这个初值更接近全局最 优，从而能够取得更好的效果。12深度学习综述深度学习概述 深度学习应用 深度学习框架TensorFlow及其应用13深度学习应用在最近几年里，
5、深度学习在语音识别、图像 分类、文本理解等众多领域做出了巨大的贡 献，逐渐形成了一种从训练数据出发，经过 一个端到端（end-to-end）的模型，然后直 接输出得到最终结果的一种新模型。深度学 习让一些难得问题变得简单。14深度学习在农业方面的应用1）玉米籽粒完整性识别的深度学习方法1基于深度卷积神经网络的智能识别玉米籽 粒完整性方法。本网络结合池化和降采样 操作，基于卷积原理构建。通过对直接输 入的灰度图像进行卷积操作，逐层挖掘图 像的深层特征，实现对单玉米籽粒图像的 特征抽象和特征降维，在通过一个全连接 网络1516玉米籽粒完整性识别的深度学习方法下图为BP网络识别原理 ：玉米籽粒完整性
6、识别的深度学习方法下图为CNN网络识别原理：CNN网络识别原理CNN网络直接以图像作为输入，这 使得CNN网络受人工干预更少。 卷积：通过卷积操作，CNN网络能 自动抽象和提取图像的特征。 降采样：是对输入图像进行降维，可 通过池化和等间隔采样的图像缩小来 实现。17玉米籽粒完整性识别的深度学习方法CNN网络的输入图像是基于单籽 粒的图像，需要对多籽粒的图像 进行分割和提取。1819玉米籽粒完整性识别的深度学习方法BP神经网络训练误差变化曲线BP神经网络训练结果如下所示：BP网络错误识别的样本使用456个测试样本对以训练好 的BP神经网络进行测试，识别 错误样本有128个，得到的识别 率为71
7、.93%。训练误差为0.122玉米籽粒完整性识别的深度学习方法经过3040个训练样本训练CNN深度网络，CNN训练误差的 变化曲线如下所示：CNN训练误差变化曲线CNN深度网络达到的训练精度 为91.76%。 用456个测试样本对本网络进 行测试，识别错误样本有17个 ，得到的精度为96.271%。 CNN深度神经网路的识别准确 率还挺高。20CNN网络错误识别的样本深度学习在农业方面的应用2）Inference of Plant Diseases from Leaf Images through Deep Learning2本论文主要是通过深度学习方法来图像识别 能自动诊断农作物病害。本论文
8、使用了 54306张有病害和健康的农作物叶片图片， 经过深度卷积神经网络训练，精确的分成 38种不同的农作物病害类型。21Inference of Plant Diseases from Leaf Images through Deep Learning下面的图片来自于PlantVillage数据集的叶图像，代 表每个农作物-病害。38种农作物病害叶片图片22Inference of Plant Diseases from Leaf Images through Deep Learning训练的结果23Inference of Plant Diseases from Leaf Images t
9、hrough Deep Learning24深度学习综述深度学习概述 深度学习应用 深度学习框架TensorFlow及其应用25深度学习框架 深度学习框架比较26深度学习框架一、Caffe 卷积神经网络框架 Caffe，全称Convolution Architecture For Feature Extraction。Caffe是一个清晰，可读性高，快速的深度学习 框架。与TensorFlow一样，Caffe也是由C+开发，Caffe也 是Google今年早些时候分布的DeepDream项目（可以识别 喵星人的人工智能神经网络）的基础。 二、Torch Torch是一个广泛支持机器学习算法的科
10、学计算框架。易于 使用且高效，主要是以为一个简单的和快速的脚本语言 LuaJIT，和底层的C/CUDA 实现。Torch核心是神经网络， 它使用简单的优化库，同时具有最大的灵活性，实现复杂的 神经网络的拓扑结构。27深度学习框架三、TensorFlow 四、Theano Theano是一个Python库，专门用于定义、优化、求值数学 表达式，效率高，适用于多维数组。 五、CNTK CNTK是微软公司研究深度学习和人工智能领域研究的成果 Computational NetworkToolkit(CNTK)，CNTK是一个内置 了多种神经模型的算法工具包，支持NDL，MDL网络定义语 言。28深度
11、学习综述深度学习概述 深度学习应用 深度学习框架TensorFlow及其应用29TensorFlowTensorFlow是谷歌基于DistBelief进行研发的第 二代人工智能学习系统，它的命名来源于本身的运 行原理。Tensor(张量)意味着N维数组，Flow（流） 意味着基于数据流图的计算，TensorFlow是张量从 图像的一端流动到另一端计算过程。TensorFlow是 将复杂的数据结构传输至人工智能神经网络中进行 分析和处理过程的系统。TensorFlow是一个采用数 据流图，用于数值计算的开源软件库。301、 高度的灵活性 2、 真正的可移植性 3、 多语言支持TensorFlow
12、的特点31 TensorFlow的可视化工具-tensorboard：通过使用这个 工具可以很直观的看到整个神经网络的结构、框架。 展示一个神经网络结构，如下一页。Tensorboard可视化32tensorboard33神经网络结构TensorFlow应用 澳大利亚海洋生物家使用TensorFlow在数以万计 的高清照片中寻找海牛，以更好地了解这个濒临 灭绝的群体数量 日本的一位农夫，训练的TensorFlow模型，按照 大小、形状以及其他特征来进行黄瓜分类。 发射科医生调整TensorFlow，在医学扫描中能够 识别帕金森病的迹象。 湾区的数据科学家在树莓派上使用TensorFlow来 追
13、踪加州火车的动态。34TensorFlow应用：黄瓜分类 Makoto是一名在家经营黄瓜农场的日本人 ，在黄瓜分类吃了很多苦头。同一个品种 的黄瓜就有9种之多。一般来说，颜色鲜艳 、刺多、体态匀称的才算是好瓜。然而当 你刚摘了一根黄瓜，你得仔细观察它的长 短、粗细、颜色、纹理、是否有小刮痕、 弯的还是直的、刺多不多要跟9类标准对 应，看它属于哪一等级，但这不是一个容 易学的工作。35TensorFlow应用：黄瓜分类机Makoto家9类黄瓜图表，由上至下质量依次递减Makoto通过黄瓜外形 、长度和弯曲度来分 拣识别。左图为 Makoto家黄瓜分类图 。36TensorFlow应用：黄瓜分类机
14、 Makoto制作的黄瓜分类机工作场景：如果一根黄瓜属于某 一个品类，小刷子就会把它推到相应的箱盒里。黄瓜分类机工作场景37TensorFlow应用：黄瓜分类机下图是Makoto设计的黄瓜分选机的系统图解。黄瓜分选机的系统图解38TensorFlow应用：黄瓜分类机Makoto面临两大挑战：第一大挑战：需要大量的训练数据。 第二大挑战：消耗大量的运算容量。39 1魏英姿，谭龙田，欧阳海飞，赵祉淇.玉米籽粒完 整性识别的深度学习方法.沈阳理工大学学报 J.2016.36(4):1-6，智能识别单玉米籽粒完整性特征 2 SP Mohanty, D Hughes, M Salathe. Inference of Plant Diseases from Leaf Images through Deep Learning. arXiv.org.11 Apr 2016参考文献4041
