第八章人工神经网络及遗传算法

《第八章人工神经网络及遗传算法》由会员分享，可在线阅读，更多相关《第八章人工神经网络及遗传算法（42页珍藏版）》请在金锄头文库上搜索。

1、第八章 人工神经网络及遗传算法 在水利和土木工程领域，经常会遇到预测和优化问题，例如降雨预报、径流预报、 水库优化调度、 水土资源利用规划、 拱坝体型优化、 工程结构动力仿真等，由于该类问题涉及到的影响因素很多，解空间也较大，而且，解空间中参变量与目标值之间的关系又非常复杂，所以， 在复杂系统中寻求合理解答一直是研究者努力解决的问题之一。 人工神经网络能够模拟人脑的结构及功能，具有对信息进行并行处理、 分布式存贮以及自学习与推理的能力，表现出容错性、非线性、非局域性、非凸性等特点，适于对模糊信息或复杂的非线性关系进行识别与映像。 遗传算法是模拟生物界遗传和进化过程而建立起来的一种搜索算法， 具

2、有高效的随机搜索与全局优化的特点，适于优化问题的求解。 这些优良特性为采用神经网络及遗传算法理论与方法研究土木和水利工程领域的预测和优化问题奠定了坚实的理论基础。 8.1 8.1 人工神经网络优化设计方法人工神经网络优化设计方法 8.1.1 人工神经网络简述 人工神经网络是一种模仿人类大脑结构和功能的信息处理智能系统。 与传统的计算机程序和人工智能方法不同，它不需要事先编写准确无误、 反复调试的程序，而是通过反复训练和学习以及自身的适应能力来完成对复杂信息的处理， 具有很强的自适应性、自组织性、自学习能力和强容错性。从结构上看，它是由大量具有存储能力的信息处理单元按一定方式连接和传递信息的高度

3、并行的分布式处理系统，因此又称作并行分布式处理系统。 虽然它可看作是传统的多指令流多数据流并行处理机的特例，但由于其良好的结构、 强自适应学习能力和易于设计的特点而使之成为引人注目、前景光明的并行分布式处理方式。1982 年，Hopfield 首先将人工神经网络用于优化计算，开辟了优化计算的新途径。 人工神经网络的处理单元常称作神经元。 生物神经元是生物神经系统的最基本的处理单元，它由细胞体、 从细胞体向外伸出的许多树突和由细胞体伸出的一条长长的轴突组成。轴突末端形成了许多细的分枝，称作神经末梢；每条神经末梢可与其它神经元相连， 接触部分叫突触。 各神经元的细胞体相当于一个处理器，将其它神经元

4、传递来的信号进行处理后产生一个神经输出信号， 该输出信号再通过轴突神经末梢和突触传递给其它神经元。如图 8- 1 所示。 图 8- 1 生物神经元 生物神经元具有如下特征： （1）神经元具有多输入、单输出的特性； （2）神经元具有非线性输入、输出的特性； （3）各神经元间传递信号的强度是可变的，输入的信号有兴奋作用与抑制作用之分； （4） 神经元的输出响应取决于所有输入信号的加权效果，当等效的输入超过某一阈值时，该神经元被启动；否则，处于抑制状态。 概括起来，生物神经元的信息处理包括两个阶段， 第一阶段是神经元接受信息流的加权过程， 称作聚合过程； 第二个阶段是对聚合后信息流的线性、 半线性、

5、非线性函数的处理过程，称作活化过程。 不同的信息处理函数反映了神经元处理复杂信息能力的差异。图 8- 2 为简化后单个生物神经元处理信息的过程。单个神经元信息识别的能力是有限的，只能反映极其简单的信息过程， 只有将多个神经元组合起来，构成一个神经网络体系， 才能处理和识别复杂的信息流变化过程和相关机制。 图 8- 2 神经元的信息处理过程简化示意图 8.1.2 人工神经元模型 人工神经元与生物神经元具有类似的结构。 将图 8- 2 神经元的信息处理过程采用数学方式进行描述，得到如图 8- 3 所示的人工神经元的数学模型。 图 8- 3 人工神经元的数学模型 这里的1x ，2x ，ix ，nx

6、分别表示来自其它神经元突触的输入，相应的1 jw ，2jw，jiw ，jnw 表示突触 1，2，i，n与第 j 个神经元的突触连接强度，即连接权重。 人工神经元的数学模型描述了一个典型生物神经元， 是对信息进行聚合处理和活化处理的完整生物反应过程。需要指出的是， 数学模型只是对生物神经元的简单模拟，忽略了生物神经元响应的时间延迟，而是一有输入便立即产生输出；此外，也没有考虑生物神经元的频率调制功能。 为了方便分析，我们把整个过程分解为三个数学计算步骤： 加权对每个输入信息进行程度不等的加权计算； 求和进行全部输入信号的组合效果的求和计算； 映像通过转移函数)(f计算输出结果。 下面以数学公式描

7、述生物神经元响应过程。列向量 X 表示输入向量为： T ninixxxxxxXLLMM11= （8- 1） 行向量jW 表示神经元 j 的连接权重向量为： jnjijjjwwwwWLL21= （8- 2） 神经元j的净输入jS 为： jjjniijijXWxwS+=+=1（8- 3） 式中，j为阈值。 净输入经过转移函数的作用后，得到神经元的输出jy 为： () += =jniijijjxwfSfy1（8- 4） 若j采用10=x的处理方法，则公式（8- 4）表示为： ()()XWfxwfSfyjniijijj= = =1（8- 6） 至此， 用公式的形式描述了一个神经元由接受信号到作出反应的

8、信息处理过程。转移函数)(f又称作启动函数，其作用是模拟生物神经元所具有的非线性转移特性。线性函数和对数形式的 Sigmoid 函数是最为常用的两种转移函数： 1、线性函数 ( )xxfy= （8- 7） 2、Sigmoid 函数（S 型曲线） 其特点是：有上、下界；单调增函数；连续且光滑，即可微分。常用的 Sigmoid 函数是对数函数： ( )txexfy+=11（8- 8） 从图 8- 4 可以看出， 对数型的 Sigmoid 函数上下限分别为 0 和 1， 并且系数t决定了函数的压缩程度。系数t越大，曲线越陡；反之，曲线越缓。 图 8- 4 常用的转移函数 8.1.3 人工神经网络模型

9、的拓扑结构 单个神经元对信息的处理能力是非常有限的， 只有将多个神经元相互连接起来，构成一个神经网络体系，才能够对复杂的信息进行识别处理。神经元之间的连接方式，即为人工神经网络的拓扑结构。 根据神经网络的拓扑结构和信息流在其中的传递方式， 人工神经网络可以大致分为前馈网络、回馈网络和混合网络三种形式。 1、前馈网络 前馈网络的信息流由输入层逐级向下层传递，没有回馈信息流， 经网络处理后由输出层输出。单层前馈网络是最简单的前馈式网络，如图 8- 5 所示。对于多层前馈网络，输入、输出神经元与外界发生联系，直接感受外部环境的刺激；而中间层与外界无直接联系，所以称为隐层。图 8- 6 为多层前馈网络

10、的拓扑结构。 图 8- 5 单层前馈网络 图 8- 6 多层前馈网络拓扑结构 以单层前馈网络为例，描述人工神经网络对信息流的处理过程。 如果网络的输入列向量X为 T ninixxxxxxxxLLMM2121=X （8- 9） 神经元节点的连接权重表示为权重矩阵W，权重矩阵W的行数等于输出神经元节点数m，列数等于输入神经元节点数n。W的 j 行是神经元节点 j 的权重向量jW （行向量） 。 =mjnmmnmimmjnjjniniwwwwwwwwwwwwwwwwWWWWWMMLLMMMMMMLLMMMMMMLLLL212121222221111211（8- 10） 阈值为 T mjmjLLMM2

11、121= （8- 11） 神经元节点的净输入S为 T mjmjssssssssLLMM2121=S （8- 12） 则有 SWX=+=+mjmjnimnmimmjnjjninissssxxxxwwwwwwwwwwwwwwwwMMMMMMLLMMMMMMLLMMMMMMLLLL2121212121222221111211（8- 13） 若引入矩阵符号为 mmfff=)(000)(000)(LMMMMLL（8- 14） 来表示转移函数对神经元节点净输入的转移作用，则 YS=mmyyysssfffMM LMMMMLL2121)(000)(000)(（8- 15） 所以 WXY+= （8- 16） 对

12、于多层前馈网络，将信息流在网络中的传递简化成如图 8- 7 所示。 图 8- 7 多层前馈网络简化信息流程 多层前馈网络对信息流的处理原理与单层前馈网络相同， 其向量表达式如下 第一层输出 11111XWY+= （8- 17） 第二层输出 22222XWY+= （8- 18） 第三层输出 33333XWY+= （8- 19） 至此，完整的表述了信息流在前馈网络中正向传递的过程。 多层前馈网络在结构上增加了多个隐层， 在功能上隐层的加入大大提高了人工神经网络对复杂信息的处理能力。经过训练的多层网络，能够实现YX 的非线性映射，其根本原因就在于引入了隐层和非线性转移函数的缘故。 误差反传前馈网络（

13、Back Progagation，简称 BP 网络）是典型的前馈网络，目前应用最为广泛，其具体内容在 8.1.5 中详细介绍。 2、回馈网络 前馈网络可以用有向无环的图表示，与此相对， 网络中如果某一层的输出通过连接权重作为输入回馈到同一层或前一层，如图 8- 8 所示，这种含有回馈连接的网络，称为回馈网络或递归网络。 图 8- 8 反馈网络拓扑结构示意图 a）部分反馈 b）完全反馈 前馈网络的输出只与输入和网络的权重 W 有关，而与以前的输出无关；而在回馈网络中， 输出不仅与当前的输入有关， 还与以前的输出有关， 因而具有 “短期的记忆能力” 。前馈网络通过权重的前馈联想反映人脑的“长期记忆

14、”能力。 除前述两种网络之外，还有混合式网络。 人工神经网络的功能不仅与其拓结构有关，还与该网络的学习算法有关，不同的学习算法决定了网络的不同功能。 8.1.4 人工神经网络的运行过程 对于各种具有不同拓扑结构的人工神经网络而言， 其运行过程大体上可以分成两个阶段：第一，网络的学习（或称之为训练） ；第二，网络的联想。 1、学习过程 网络的学习过程就是通过不断地向网络输入一些样本模式， 网络遵循一定的学习规则，即算法，来不断地调整网络的各层权重，使网络的输入和输出以一定精度向给定的样本模式逼近。 学习的实质就是网络通过输入和输出信息识别存在信息之间的内在规律。 学习方法可以分为两种：一种为有监

15、督学习，或称为有教师学习；另一种为无监督学习，或称无教师学习。 （1）有监督学习。有监督学习是给定一组输入、输出作为样本模式，网络根据学习规则不断地调整网络的权重， 使网络的实际输出与样本的期望输出之间的误差降低到允许的精度。有监督学习常常用来进行系统规律的学习。 （2）无监督学习。无监督学习的样本模式中不包含期望输出，网络完全按照样本所提供的某些统计规律来调整网络自身，以获得输入信息的某些固有特征，如聚类和统计上的分布规律。这类网络常用于信息的分类。 不同拓扑结构的神经网络， 甚至相同结构的神经网络， 因其学习规则的不同，神经网络的功能各异。 2、学习规则 网络中的每一个神经元都是一个自适应单元，它的权重是可以调整的。 权重调整方法的不同，便产生了各种各样的学习规则， 目前流行的学习规则有如下几种： （1）Hebb 规则 该规则可叙述为： 如果神经网络中某一神经元与直接相连的另一神经元