《神经网络地应用论文》由会员分享，可在线阅读，更多相关《神经网络地应用论文（24页珍藏版）》请在金锄头文库上搜索。
1、word神经网络的原理与应用摘要：通过阅读相关文献，总结了神经网络方面的根本原理和应用。首先介绍了Hopfield神经网络中的离散型网络，并介绍其实现交通标志的步骤。随着神经网络的开展，其局限性日益凸显。为此，科学家们提出了与其它方法结合的神经网络。本文介绍了遗传算法优化BP神经网络的原理与在在坝基岩体渗透系数识别中的应用，还介绍了模糊神经网络的原理与在预测地基沉降量中的应用，最后介绍了小波神经网络的原理与在电力负荷预测中的应用。关键字：神经网络、Hopfield、遗传算法、模糊神经网络、小波神经网络绪论Hopfield网络与学习算法最初是由美国物理学家J.J Hopfield于1982年首先
2、提出的，曾经为人工神经网络的开展进程开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0，所以，也称离散Hopfield神经网络Discrete Hopfield Neural Network，DHNN。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和0分别表示神经元处于激活和抑制状态。Hopfield神经网络是递归神经网络的一种，在函数优化和联想记忆等方面有大量的应用。其运行机理与反应神经网络有本质的区别，运行规律更加复杂。神
3、经网络由于高度复杂的非线性结构导致其内部存在大量的局部极值点，而传统的梯度下降法训练神经网络有可能收敛于局部极值点，造成神经网络性能变差，甚至无法使用。随着现代非线性优化方法异军突起，特别是赫赫有名的遗传算法，具有极强的全局搜索能力，其收敛的有效性得到了理论和实践的充分检验。因此，遗传神经网络是解决高复杂性情况下全局收敛问题的有效途径。系统的复杂性与所要求的准确性之间存在着锋利矛盾，模糊逻辑、神经网络和专家控制等智能系统为缓解这种矛盾提供了有效途径，但是这些系统单个运用时常常存在多种问题，因此人们便根据它们的优缺点提出了融合使用的新思路，如本文的模糊神经网络。传统神经网络的不足：1、激活函数不
4、满足框架条件，且常为能量无限的类函数，而待处理信号常为能量有限的函数，难以找到它们间的反演变关系与保证解的唯一性；2、神经网络的结构参数难以确定，结构设计有很大的盲目性；3、神经网络的多层结构与误差曲面的高度非凸性使得神经网络的学习极其容易陷入局部极小。在这种情况下，小波神经网络最早由法国著名的信息科学研究机构IRISA的Qinhua Zhang等于1992年提出。本文将按以上顺序逐一介绍。一、离散型Hopfield神经网络在交通标志识别中的应用Hopfield神经网络是一种互联型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分方程离散型或微分方程连续型来描述。系统的稳定性可用
5、所谓的“能量函数来分析。在满足条件的情况下，某种“能量函数的能量在网络运行过程中不断减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点吸引子、极限环、混沌、状态发散。因为人工神经网络的变换函数是一个有界函数，故系统的状态不会发生发散现象。目前，人工神经网络经常利用渐进稳定点来解决某些问题。如果把系统的稳定点视为一个记忆，那么这个初态朝这个稳定点的演变过程就是一个寻找记忆的过程。如果把系统的稳定点视为能量的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。因此，Hopf
6、ield神经网络的演变过程是一个计算联想或求解优化问题的过程。实际上，它的解决并不需要真的去计算，而是通过构成反应神经网络，适当地设计其连接权和输入就可以达到这个目的。离散型Hopfield神经网络DHNN是一种单层的、输入/输出为二值的反应网络。DHNN主要用于联想记忆。网络的能量函数存在着一个或多个极小点或平衡点。当网络的初始姿态确定后，网络的状态按其工作规如此向能量递减的方向变化，最后接近或达到平衡点，这个平衡点又称为吸引子。如果设法把网络所需记忆的模式设计成某个确定网络状态的一个平衡点，如此当网络从与记忆模式较接近的某个初始状态出发后，按Hopfield运行规如此进展状态更新，最后网络
7、状态稳定在能量函数的极小点，即记忆模式所对应的状态。这样就完成了由局部信息或失真信息到全部或完整信息的联想记忆过程。DHNN的计算公式如下;其矩阵向量形式为：其中，,为网络状态矢量，其分别为Hopfield网络第2层输出、第1层输入和总输入，中所有的元素取值仅取1或-1；由于神经网络的第0层没有外界输入，因此认为Hopfield神经网络没有输入；为网络的阈值矢量；为网络连接权矩阵，其元素表示第j个神经元到第i个神经元的连接权，它为对称矩阵。，如此网络无自反应，否如此，称其为自反应。Hopfield网络的权值是设计出来的。设计方法的主要思路是使记忆的模式样本对应于网络能量函数的极小值。设有m个n
8、维记忆模式，要设计网络连接权和阈值，使这m个模式正好是网络性能函数的m个极小值。比拟常用的设计方法是“外积法。设其中，m表示的是模式类别数；n为每一类模式的维数。要求网络记忆的m()个记忆模式矢量两两正交，即满足下式：各神经元的阈值和网络的连接权矩阵按下式计算：如此所有矢量在时都是稳定点。Hopfield神经网络能够存储的最大模式数与神经元个数有关。离散Hopfield神经网络实质是一个多输入和含阈值的二值非线性动力系统。在运动系统中，平衡稳定状态可理解为系统某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。每个状态定义对应的能量E。任何一个神经元节点的状态变化时，能量E将
9、会向着减小的趋势变化，即对于任何,当神经网络从开始，有初始状态，经过有限时刻t，有，如此称网络是稳定的。步骤如下：1载入各种交通标志。2为了统一神经网络输入维数，将交通标志转换为的二进制格式。3创建Hopfield神经网络。4检测样本是否为稳定点。Hopfield神经网络越复杂，它所包含的伪吸引子就越多，可能造成待检测点收敛于伪吸引子，甚至出现混沌现象。因此，所有递归类型的神经网络都有必要进展稳定性检验。一个简单的方法是将样本的期望输入神经网络，如果它能一步收敛于期望值，说明它在样本点上是平稳的。5由于Hopfield神经网络存在识别能力上限，因此需要检查识别量是否超过最大模式数。6生成带噪声
10、的交通标志。7交通标志识别，比照，结果显示。二、遗传算法优化BP神经网络在坝基岩体渗透系数识别中的应用对于大数据量、高维数与多隐含层节点等条件，各类神经网络训练过程中很有可能会遇到大量的局部极值，不仅严重影响收敛速度，而且可能导致训练误差收敛于局部最优解而不是全局最优解，严重影响神经网络性能。而遗传算法是一种强有力的和应用广泛的随机搜索优化技术，可以解决这些问题。遗传算法Genetic Algorithms, GA的根本思想基于Darwin进化论和Mendel遗传学说。Darwin进化论最重要的是适者生存原理，它认为每一物种在开展中越来越适应环境。物种每个个体的根本特征由后代继承，但后代又会产
11、生一些异于父代的新变化。在环境变化时，只有那些适应环境的个体特征保存下来。Mendel遗传学说最重要的是基因遗传原理它认为遗传以密码的方式存在细胞中，并以基因形式包含在染色体内，每个基因有特殊的位置并控制某种特殊性质。所以，每个基因对环境具有某种适应性，基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。遗传算法是一种新的全局优化搜索算法，具有简单通用、鲁棒性强、适于并行处理与应用X围广等显著特点，是21世纪关键智能计算之一。遗传算法不同于枚举算法、启发式算法、搜索算法等传统的优化方法，其具有如下特点。1自组织、自适应和智能性。遗传算法消除了算法
12、设计中的一个最大障碍，即需要事先描述问题的全部特点，并说明针对问题的不同特点算法应采取的措施。因此，它可以用来解决复杂的非结构化问题，具有很强的鲁棒性。2直接处理对象是参数编码集而不是问题参数本身。3搜索过程中使用的是基于目标函数值的评价信息，既不受优化函数连续性的约束，也没有优化函数必须可导的要求。4易于并行化，可降低由于使用超强计算机硬件带来的昂贵费用。5根本思想简单，运行方式和实现步骤规X，便于具体实现。1编码：在遗传算法求解问题时，首先遇到的是编码问题。将问题的解以适合于遗传算法求解的形式进展编码，称为遗传算法的表示，而交叉、变异等操作与编码的形式有关。因此，在进展编码时，要考虑到交叉
13、和变异问题。最简单的编码方式是二进制编码。此外，编码的方式还有整数编码、实数编码和树编码等。2初始化种群的生成：在求解之前产生初始化种群，在解的备选空间中选择假如干个体组成初始化种群，通常采用随机法产生初始化种群。3适应度评价：根据生物进化“适者生存的原如此，需要对每个个体适应环境的能力进展刻画，从而引入适应度。适应度是遗传算法在群体进化过程中用到的唯一信息，它为字符串如何复制给出了定量的描述。适应度函数通过计算个体的适应值来比拟个体的适应度。适应度函数分为无约束条件的适应度函数和有约束条件的适应度函数。4选择：种群中的个体在进展交叉之前，要进展选择。选择的目的是获得较优的个体作为父代，进展下
14、一步交叉。选择的依据是个体的适应度，适应度值高个体被选中的可能性大，适应度低的个体被选中的可能性小。适应度高的个体可能被屡次复制，而适应度低的个体可能一次也未被选中。选择算子有时也叫复制算子。常用的选择方法是适应度比例法，也叫轮盘赌法，它的根本原如此是按照个体的适应度大小比例进展选择。5交叉：交叉也称交配，即将两个父代个体的编码串的局部基因进展交换，产生新的个体。交叉算子是种群遗传算法的重要算子，是种群产生新个体的主要手段。对于二进制编码，具体实施交叉的方法有单点交叉、两点交叉、多点交叉和一致交叉等。对于实数编码，交叉的方法有离散重组、中间重组和线性重组等。6变异：变异操作首先在种群中随机选择
15、一个个体，对于选中的个体按照一定的概率随机改变串结构的某个值，即对种群中的每一个个体以某一概率改变某一个或某一些基因座上的值为其他的基因。同生物界一样，遗传算法发生变异的概率很低。变异操作为新的个体提供了机会。7终止条件判断：终止条件判断是指在什么条件下认为算法找到了最优解，从而可以终止算法。通常使用遗传算法解决具体问题并不知道问题的最优解是什么，也不知道最优解的目标函数值，因而需要算法终止，并获得最优解。遗传算法优化BP神经网络算法的流程如图。根本原理为利用遗传算法具有全局搜索和收敛速度快的特点，将其与神经网络结合起来，不仅能发挥神经网络的泛化映射能力，而且具有使神经网络克制收敛速度慢和容易陷入局部误差极小点等缺点。遗传神经网络的主要优化目标是神经网络的权值与阈值。因此，神经网络的拓扑结构必须提前确定，而且通用遗传算法存在收敛精度不高，容易过早收敛等问题。在实际应用中，可以从以下两方面入手。第一，将遗传算法与梯度下降法的等方法结合使用，以改善收敛效果。第二，将小生境方法等手段引入遗传算法，提高遗传算法的性能。将渗透区域进展有限元剖分，随机取15组渗透系数，计算出各点的水头值，得到15组原始训练样本。具体实现：1生成样本数据。2初始化遗传算法
