《神经网络最新发展综述》由会员分享，可在线阅读，更多相关《神经网络最新发展综述（19页珍藏版）》请在金锄头文库上搜索。
1、神经网络最新发展综述 学校：上海海事大学 专业：物流工程姓名：周巧珍 学号：5神经网络最新发展综述摘 要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词 : 类脑智能；神经网络；深度学习
2、；大数据Abstract : As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and al
3、so a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network enti
4、tles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points ou
5、t its possible future directions.Key words : artificial intelligence; neural network; deep learning; big data1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟
6、大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的实现离不开大脑神经系统的研究。众所周知，人脑是由几十多亿个高度互联的神经元组成的复杂生物网络，也是人类分析、联想、记忆和逻辑推理等能力的来源。神经元之间通过突触连接以相互传递信息，连接的方式和强度随着学习发生改变，从而将学习到的知识进行存储。模拟人脑中信息存储和处理的基本单元-神经元而组成的人工神经网络模型具有自学习与自组织等智能行为，能够使机器具有一定程度上的智能水平。神经网络的计算结构和学习规则遵照生物神经网络设计，在数字计算机
7、中，神经细胞接收周围细胞的刺激并产生相应输出信号的过程可以用“线性加权和”及“函数映射”的方式来模拟，而网络结构和权值调整的过程用优化学习算法实现。按照该方式建立的这种仿生智能计算模型虽然不能和生物神经网络完全等价和媲美，但已经在某些方面取得了优越的性能。目前神经网络已经发展了上百种模型，在诸如手写体识别、显著性检测、语音识别和图像识别、模式识别、人机交互、优化算法、深度学习等技术领域取得了非常成功的应用。2.各领域简单介绍2.1手写体识别2009年，认识到自由手写文本是一个具有挑战性的任务。草书分割或重叠的字符的困难，与需要利用周围的环境相结合，导致了较低的识别率，即使是当时最好的识别。Gr
8、aves Alex等人1提出了一种基于一种新型的递归神经网络，专门为序列标注任务设计的，其中数据是很难段和含有远距离双向的相互依存关系的一种方法。在两个大型无约束手写数据库的实验中，该方法实现了对在线数据79.7，而上的脱机数据74.1的单词识别精度，显著超越国家的最先进的基于HMM的系统。此外，证明了网络的鲁棒性词汇的大小，测量其隐层的个人影响力。2010年，Ciresan D.C.等人2使用整个未变形的训练集进行验证，不浪费训练图像。原始灰度图像的像素强度的范围从0（背景）到255（最高前景强度）。每幅图像的2828 =784个像素被映射到真实值在1.0，1.0，和被馈送到对NN输入层。使
9、用2至9隐藏层和单位数目不等的隐藏单元来培养MLPs，。大多是每一层隐藏单元的数量向输出层（表1）降低，但不都是这样。结合AF NE（旋转，缩放和水平剪切）和弹性变形，在每一个初划时代整个MNIST训练集被变形。小型网络初步实验得到一些参数。表1的结果表明：极具竞争力的MNIST手写基准，单精度浮点基于GPU的神经网络超越所有先前报告的结果，其中包括涉及专门的架构，无监督的训练前，学习机等分类训练集足够大小的组合更为复杂的方法获得的通过适当地变形的图像被获得。当然，这种方法并不局限于手写，显然为许多视觉和其他模式识别问题带来了很大的希望。 表1 MNIST测试的错误率2012年，Alexand
10、er Goltsev等人3对图像识别（名为里拉的功能）的手写体数字识别的任务进行了研究。两个神经网络分类被认为-改性3层感知里拉和模块化组件的神经网络。提出的特征选择的方法，用于分析形成在神经网络分类器的初步学习过程的连接权重。在使用的手写体数字的MNIST数据库的实验中，特征选择过程允许减少的特征数目（从60000至7000）保可比的识别能力，同时加速计算。里拉感知和模块化装配神经网络的实验比较完成的，这表明了模块化组装神经网络的识别能力是有所好转。2.2显著性检测2015年，Wang L.J等人4由局部估计和全局搜索整合提出了一个深度网络的显著性检测算法。在局部估计阶段，我们通过使用局部学
11、习功能的补丁，在全局搜索阶段，局部的显着图与全局的对比度和几何信息一起作为整体特征描述SETOF目标和IDATE区域.深层神经网络（DNN-G）进行训练来进行预测。如图1。图1 局部估计和全局搜索结合结构图由于低层次的显著性线索或先验不能够产生足够好的显着性检测结果，特别是当显著对象在低对比度的背景与混乱的视觉外观中的时候。Zhao R等人5 提出一个为显著性检测的多情景深度学习框架，该框架采用深度卷积神经网络在图像中去检测目标的显著性，全局背景和局部背景综合考虑，共同塑造一个统一的多背景深度学习框架。为深度卷积神经网络提供更好的初始化，探究了不同的预训练策略和一个设计用多背景模型适应显著性检
12、测的特殊任务预训练方案。在五个公共数据集实验，结果表明不错。整体多环境模型：超像素中心的输入窗口的预测是通过估计显着性概率执行的。score(x gc , x lc ) = P(y = 1 | x gc , x lc ; 1 ), （1）x gc,x lc分别是全局背景和局部背景模型倒数第二层的输出，y是中心超像素的显著性预测，y=1时是显著性超像素，y=0时是背景。训练了一个二元分类在最后一个网络层的顶部，为了分类背景和显著性，通过在分类结果和全局标签之间统一的函数的最小值。L( ; x (i)gc ,x(i)lc,y (i) mi=1 ) （2）框架的参数可以分为几个部分。 j = w g
13、c,j , w lc,j , , w gc，j是全局背景模型中神经网络的最后一层参数，w lc,j是局部背景模型的最后一层参数，, 是一个含糊不清的模型功能控制局部背景模型的需要的参数。目的是推断标签的概率同时通过俩个组件。2.3语音识别隐马尔可夫模型（HMM）已经被国家认可的声学建模的最先进的技术，尽管他们不切实际的独立性假设和隐藏状态的非常有限的代表能力。坚定信念网络（动态贝叶斯）被证明是对各种机器学习问题非常有效，Mohamed A.R等人6在2011年采用动态Bayesian声学建模。在标准TIMIT语料库，动态贝叶斯网在 TIMIT核心试验等的电话实现了23.0的错误率。高斯混合模型
14、是用于模拟隐马尔可夫模型的语音识别的发光分布的显性技术。Mohamed A.R7在2012年证明，在TIMIT数据集可以通过包含的特征和非常大量的参数，用很多层深神经网络代替高斯混合模型来实现更好的手机识别。这些网络的第一预训练如光谱特征向量的窗的多层生成模型，而不利用任何区别信息。一旦生成前培训设计的功能，使用反向传播小幅调整功能，在预测单音隐马尔可夫模型的状态的概率分布时进行微调，以使他们更好地进行判别。Ev,h=-i=1Vj=1Hwijvihj-i=1Vbivi-j=1Hajhj (1)Pv=he-E(v,h)uhe-E(u,h) (2)Phj=1v,=(aj+i=1Vwijvi) (3)Pvi=1h,=(bi+j=1Hwijhj) (4)wijdata-reconstruction (5)Ev,h=i=1V(vi-bi)22-i=1Vj=1Hwijvihj-j=1Hajhj (6)Pvih,=N( bi+j=1Hwijhi,1) (7)Dahl G.E.等人8在2012年提出了一种新的上下文相关（CD）模型，它采用深信念网络进行电话确认,对大词汇量语音识别（LVSR）。该坚定信念网络训练前的算法是一个强大的和经常有用的方法来初始化深神经网络，可以帮助优化并降低泛化误差。在一个具有挑战性的商业搜索数据实验显示，CD-DNN-HMM模型可以显著优于传统的语境依赖性
