过程建模9-神经网络解析

《过程建模9-神经网络解析》由会员分享，可在线阅读，更多相关《过程建模9-神经网络解析（46页珍藏版）》请在金锄头文库上搜索。

1、下篇 非线性系统建模 1 9.1 神经网络基本原理 9.2 静态神经网络模型 9.3 动态神经网络模型 9.4 神经网络建模应用 9 神经网络模型 2 目前广泛研究和应用的人工神经元网络在处理复 杂系统的建模方面表现出了非凡的优越性。其方法 实质上是一种非线性函数逼近的方法。 ！理论上可以证明神经元网络可以任意 精度逼近任何非线性函数。因此将神经元网络 应用于非线性对象的动态或静态建模的方法正成为 研究热点。 9.1 神经网络基本原理 9 神经网络模型 3 一般而言, ANN与经典计算方法相比并非优 越, 只有当常规方法解决不了或效果不佳时 ANN方法才能显示出其优越性。尤其对问题 的机理不甚

2、了解或不能用数学模型表示的系统 ,ANN往往是最有利的工具。另一方面, ANN 对处理大量原始数据而不能用规则或公式描述 的问题, 表现出极大的灵活性和自适应性。 9.1 神经网络基本原理 9 神经网络模型 4 神经网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数 。建模过程中的许多问题正是具有高度的非线性。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据 中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即 将这组权值应用于一般情形的能力。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因 此它可以利用传统的工程技术（数值运算）和人工智

3、能技术（符号处 理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变 量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统 间的解耦问题。 9.1 神经网络基本原理 9 神经网络模型 5 （2）神经网络系统辨识是非算式的，神经网络本 身就是辨识模型，其可调参数反映在网络内部的连 接权上。它不需要建立以实际系统数学模型为基础 的辨识格式，故可以省去在辨识前对系统建模这一 步骤。 （3）神经网络作为实际系统的辨识模型，实际上 也是系统的一个物理实现，可以用于在线控制。 神经网络系统辨识特点： （1）由于神经网络可以任意精度逼近非线性函数 ，故它为非线性系统的辨识提供一种通用的

4、模式。 9.1 神经网络基本原理 9 神经网络模型 6 人工神经元可用如下简化模型描述： 若非线性单元为 符号函数，则变 为感知器模型 9.1.1 神经网络基本框架 9 神经网络模型 7 人工神经网络（ANN）是人类对其大脑神经网络 认识理解的基础上人工构造的能够实现某种功能的神经 网络，它是理论化的人脑神经网络的数学模型，是基于 模仿大脑神经网络结构和功能而建立的一种信息处理系 统。 三要素 一组连接 一个求和单元 一个非线性激活函数 9 神经网络模型 9.1.1 神经网络基本框架 8 神经元网络的第i个输出可表示为： ai1 ai2 a in bi1 bi2 bim wi y1 y2 y

5、n u1 uk um 1 vix i y i 1）加法器 2）线性动态系统（SISO） 3）静态非线性系统 9 神经网络模型 9.1.1 神经网络基本框架 9 静态非线性系统（激活函数） g(x) g(x) g(x) x x x 阈值函数分段函数 阶跃函数 (sgn函数） S形函数 （Sigmoid函数， 双曲正切函数tanh） 典型的有： 线性动态系统 典型的有： 9 神经网络模型 9.1.1 神经网络基本框架 10 1）前馈网络 2）输出反馈的前馈式网络 3）前馈式内层互联网络 4）反馈型全互联网络 5）反馈型局部互联网络 9 神经网络模型 9.1.2 神经网络典型结构 11 1）前馈网络

6、： 2）输出反馈的前馈式网络： 9 神经网络模型 9.1.2 神经网络典型结构 12 3）前馈式内层互联网络： 4）反馈型全互联网络： 第二节 神经网络建模 每个神经元的输出都和其它神经元相连，从而形成动 态反馈关系，如Hopfield网络。 这类网络结构具有能量函数的自寻优功能。 9 神经网络模型 9.1.2 神经网络典型结构 13 K ui y j yi 离散Hopfield网络 y1 y2 y3 y4 u1 u2 u3 u4 9 神经网络模型 9.1.2 神经网络典型结构 14 5）反馈型局部互联网络： 每个神经元的输出只和它周围若干层神经元发生互连 关系，形成局部反馈，从整体上看，是一

7、种网格状结构， 如Elman网络和Jordan网络。 9 神经网络模型 9.1.2 神经网络典型结构 15 这种引入了反馈的网络结构，又称为动态递归神经网络（ DRNN-Dynamical Recurrent Neural Network）。 动态网络由于其内部的反馈作用，可以用较小的网络结构 来实现系统的复杂性为，所以比较适合非线性动态系 统的辨识和控制。 ！注意 ： 9 神经网络模型 9.1.2 神经网络典型结构 16 9.2 静态神经网络模型 9 神经网络模型 17 u感知器网络 感知器是前馈(正向传输)网络. x1 x2 xn b1 b2 bm 权向量W 非线性变换单元： 1 -1 用

8、于样本空 间的分类 9 神经网络模型 9.2 静态神经网络模型 18 u反传（BP）网络 （BP）网络与感知器的主要差别在于：（BP）网络的节 点是非线性的。 广义 学习规则。 信息的正向传递 误差的反向传播 f( )被称为sigmoid函数或称为logistic函数。Sigmoid函数的输出 范围为01，它可把非常大的输入值域映射到一个小范围的输出 。 9 神经网络模型 9.2 静态神经网络模型 19 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。 O pr 输入层 隐层 输出层 信息流 j yp1 xp 1 x pn t p1 t pm Op1 Op2 隐层 wj1 wj n

9、 ypm 9 神经网络模型 9.2 静态神经网络模型 20 第p组学习样本的输入向量 第p组学习样本的训练输出向量 第p组学习样本的输出向量，教师值 节点与节点的连接权值 假设有N个训练样本 9 神经网络模型 9.2 静态神经网络模型 21 l BP算法的基本思想是： 外界信息首先经输入节点，传输到隐节点，最后 传送到输出节点，完成网络的正向传播； 若输出不是期望输出，则将实际输出与期望输出 的误差，经原连通路径返回，修正各层间的连接权值 ，即误差反传过程，使误差变小。 经上述过程反复交替，使误差逐步缩小到规定精 度的过程，实际上是一个非线性优化问题，即使系统 输出与实际输出最接近。 9 神经

10、网络模型 9.2 静态神经网络模型 22 信息的正向传递 对于输入节点（用下标i)： 对于隐节点（用下标j）： 对于输出节点（用下标k）： 节点的输入： 节点的输出： 节点的输入： 节点的输出： 输出 个数 9 神经网络模型 9.2 静态神经网络模型 23 误差的反向传播 定义第p组样本误差函数 ： 对于P组学习样本，其总误差： 9 神经网络模型 9.2 静态神经网络模型 24 广义 学习规则 学习的目的是要使输出误差平方和最小： 最后得到二个权值改变的重要公式： 输出层 权值 隐层 权值 9 神经网络模型 9.2 静态神经网络模型 25 初始化 加输入和期望输出 计算隐层和输出层的输出 迭代

11、次数加1 调节输出层和隐层的连接权值 改变训练样本 训练样终止？ 迭代终止？ BP算法的基本流程 No No y y 9 神经网络模型 9.2 静态神经网络模型 26 重要结论 若输入层和输出层采用线性转换函数，隐层 采用Sigmoid转换函数，则含一个隐层的多层前 馈网络（如BP网络）能够以任意精度逼近任何有 理函数。 Hornik 理论证明:多层前馈网络是一种通用逼近器。 9 神经网络模型 9.2 静态神经网络模型 27 9 神经网络模型 9.3 动态神经网络模型 28 u带时滞的多层感知器网络 9 神经网络模型 9.3 动态神经网络模型 29 9 神经网络模型 9.3 动态神经网络模型

12、30 从理论上说，上述这种网络结构能够逼近任意一个可 用方程式描述的系统： 它的学习可以直接利用静态前馈神经网络的BP算法。 9 神经网络模型 9.3 动态神经网络模型 31 uHopfield神经网络 9 神经网络模型 9.3 动态神经网络模型 32 连续型Hopfield神经网络用于优化计算： 9 神经网络模型 9.3 动态神经网络模型 33 图 神经网络建模的一般结构 9 神经网络模型 9.4 神经网络建模应用 34 1.样本数据 a) 收集和整理 采用神经网络方法建模的首要和前提条件是有足够多典 型性好和精度高的样本。 而且，为监控训练（学习）过程使之不发生“过拟合”和 评价建立的网络

13、模型的性能和泛化能力，必须将收集到 的数据随机分成训练样本、检验样本（10%以上）和测 试样本（10%以上）3部分。 此外，数据分组时还应尽可能考虑样本模式间的平衡。 9 神经网络模型 9.4 神经网络建模应用 35 b) 输入/输出变量的确定及其数据的预处理 一般地，神经网络的输入变量即为系统的内生变量（影 响因子或自变量）。若输入变量较多，一般可通过主成 份分析方法压减输入变量，也可根据剔除某一变量引起 的系统误差与原系统误差的比值的大小来压减输入变量 。 输出变量即为系统的外生变量（系统性能指标或因变量 ）。一般将一个具有多个输出的网络模型转化为多个具 有一个输出的网络模型效果会更好，训

14、练也更方便。 9 神经网络模型 9.4 神经网络建模应用 36 2.神经网络拓扑结构的确定 a) 隐层数 一般认为，增加隐层数可以提高精度，但也使网络 复杂化，从而增加了网络的训练时间和出现“过拟合” 的倾向。 在设计BP网络时可参考Hornik的结论，应优先考虑3 层BP网络（即有1个隐层）。一般地，靠增加隐层节 点数来获得较低的误差，其训练效果要比增加隐层数 更容易实现。 9 神经网络模型 9.4 神经网络建模应用 37 b) 隐层节点数 在确定隐层节点数时必须满足下列条件： (1) 隐层节点数必须小于N-1（其中N为训练样本数），否 则，网络模型的系统误差与训练样本的特性无关而趋于 零，

15、即建立的网络模型没有泛化能力，也没有任何实用 价值。同样，输入层的节点数（变量数）必须小于N-1 。 (2) 训练样本数必须多于网络模型的连接权数的210倍。 9 神经网络模型 9.4 神经网络建模应用 38 3.网络模型的性能 训练神经网络的首要和根本任务是确保训练好的网 络模型对非训练样本具有好的泛化能力（推广性），即 有效逼近实际系统和样本蕴含的内在规律，而不是看网 络模型对训练样本的拟合能力。 即使每个训练样本的误差都很小（可以为零），并 不意味着建立的模型已逼近实际系统。因此，网络模型 的评价关键是看非训练样本（测试样本、随机样本）的 误差大小，仅给出训练样本误差的大小没有任何意义。

16、 9 神经网络模型 9.4 神经网络建模应用 39 讨论: 1)隐层的数目和节点的数目,何谓合适? 2)是否收敛到全局最优 3)收敛的速度问题。 4)网络的泛化能力。 9 神经网络模型 9.4 神经网络建模应用 40 举例 利用多层前馈BP网络逼近非线性函数 输入x 输入y 例如：待逼近的非线性函数为 9 神经网络模型 9.4 神经网络建模应用 41 解：训练样本集取20点，即 训练样本输入 训练样本输出 网络结构选为1个输入神经元、6个隐含层神经元、1个 输出神经元的三层前馈网络，激励函数为Sigmoid函数 。 9 神经网络模型 9.4 神经网络建模应用 42 9 神经网络模型 9.4 神经网络建模应用 43 9 神经网络模型 9.4 神经网络建模应用 44 运用同样检验样本，两个隐含层的网络所得到的检验 结果： 从图中可看出，增加隐含层的数目并不意味着能 改善神经网络的逼近精度