系统辨识第七章

《系统辨识第七章》由会员分享，可在线阅读，更多相关《系统辨识第七章（8页珍藏版）》请在金锄头文库上搜索。

1、1 系统辨识系统辨识 主讲教师：郭毓 联系方式： 主讲教师：郭毓 联系方式：02584315872 南京理工大学自动化学院南京理工大学自动化学院 第七章 神经网络模型第七章 神经网络模型 2 第七章神经网络模型第七章神经网络模型 人工神经网络（人工神经网络（Artificial Neural Networks， ANN） 研究取得重大进展， 有关的理论和方法已经 使其发展成为一门介于物理学、数学、计算机科学 和神经生物学之间的 ） 研究取得重大进展， 有关的理论和方法已经 使其发展成为一门介于物理学、数学、计算机科学 和神经生物学之间的交叉学科交叉学科，在过程控制、模式 识别、函数逼近、动态建

2、模、数据挖掘，以及某些 生物体神经活动的过程等领域， 都取得了成功应用 的实例。 ，在过程控制、模式 识别、函数逼近、动态建模、数据挖掘，以及某些 生物体神经活动的过程等领域， 都取得了成功应用 的实例。ANN 在系统辨识和控制中的应用研究成在系统辨识和控制中的应用研究成 为热点。为热点。 这里，研究建模中最常用的这里，研究建模中最常用的 NN 的数学描述的数学描述。 7.1 概述概述 3 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 1）神经组织的基本特征）神经组织的基本特征 细胞体基本的初等信号处理器；细胞体基本的初等信号处理器； 树突信号的输入通道；树突信号的输

3、入通道； 轴突信号的输出通道；轴突信号的输出通道； 突触神经末梢与树突接触的界面。突触神经末梢与树突接触的界面。 4 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 1）神经组织的基本特征）神经组织的基本特征 信号从一个神经细胞经过突触传递到另一个 细胞，是一个复杂的生物化学过程。 信号从一个神经细胞经过突触传递到另一个 细胞，是一个复杂的生物化学过程。 它可以产生两种不同的效果： 或者使接收它可以产生两种不同的效果： 或者使接收信号信号 一方细胞体内的电位升高，或者使之降低。一方细胞体内的电位升高，或者使之降低。 当细胞体内电位达到某一阈值时， 则接收信号 的细胞被激

4、发， 它也会通过轴突传出一个固定强度 和持续时间的脉冲信号，此时该细胞处于 当细胞体内电位达到某一阈值时， 则接收信号 的细胞被激发， 它也会通过轴突传出一个固定强度 和持续时间的脉冲信号，此时该细胞处于激发态激发态。 当细胞体内电位当细胞体内电位低于低于阈值时， 则不产生任何电 位输出，细胞处于 阈值时， 则不产生任何电 位输出，细胞处于抑制抑制状态。状态。 5 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 由处于激发态的神经细胞所产生的脉冲信号由处于激发态的神经细胞所产生的脉冲信号， 通过神经末梢传向处于下游的每个与之相连的神通过神经末梢传向处于下游的每个与之相连

5、的神 经元。经元。 但是对不同的下游神经元， 信号所引起的电位 变化是不同的。 但是对不同的下游神经元， 信号所引起的电位 变化是不同的。 不同的神经元之间作用强度不同不同的神经元之间作用强度不同 （即连接即连接 强度） 。强度） 。 两种神经元之间的连接强度， 随其激发与抑制 行为相关性的时间平均值正比变化。 两种神经元之间的连接强度， 随其激发与抑制 行为相关性的时间平均值正比变化。 生物学上的生物学上的 Hebb 律律，表明神经系统有某 种可塑性。 ，表明神经系统有某 种可塑性。 6 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 2）人工神经元的）人工神经元的

6、M-P 模型模型 讨论讨论 1）单个神经元的形式的定义）单个神经元的形式的定义 2）决定网络的层数、各层中的神经元的数 量，以及彼此连接方式定义网络 ）决定网络的层数、各层中的神经元的数 量，以及彼此连接方式定义网络 3）给出一种方法，决定神经元之间的连接 强度，使网络具备某种能力 ）给出一种方法，决定神经元之间的连接 强度，使网络具备某种能力 2 7 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 2）人工神经元的）人工神经元的 M-P 模型模型 历史上第一个人工神经元模型（由心理历史上第一个人工神经元模型（由心理学家学家 McCulloch 和和 数理逻辑学家数理逻

7、辑学家 Pitts 1943 年提出）年提出） 1 n iijji j yfw x = = ， 1,0 ( ) 0, x f x = 其他 每个神经元只有两个状态每个神经元只有两个状态 0,1， ij w是一个实数， 刻画了第 是一个实数， 刻画了第 j 个神经元到第个神经元到第 i 个神经元的连接强度， 称之为权，可正，可负，表示神经元 个神经元的连接强度， 称之为权，可正，可负，表示神经元 j 对神经元对神经元 i 的作用是激发还是抑制，规定的作用是激发还是抑制，规定0 ii w =。 8 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 2）人工神经元的）人工神经元

8、的 M-P 模型模型 M-P 神经元最简单，实际生物神经元复杂得多。神经元最简单，实际生物神经元复杂得多。 1 i w 1 x 2i w 2 x ? in w n x ( )f i y i 重要之处：重要之处： M-P 模型反映了神经细胞的一个最基本 的特征，即输入与输出之间的非线性关系。 模型反映了神经细胞的一个最基本 的特征，即输入与输出之间的非线性关系。 9 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 2）人工神经元的）人工神经元的 M-P 模型模型 对对 M-P 模型， 最常用的一个函数是模型， 最常用的一个函数是 S 形函数，形函数， i y的状态取的状态

9、取0,1区间的连续值。区间的连续值。 1 (2) ( )1,0 x f xe =+ ； 1 n ijj j xw x = = S 形函数在实际中得到广泛的应用，但是因 其输出均为正值，用于描述实际系统时受到限制。 形函数在实际中得到广泛的应用，但是因 其输出均为正值，用于描述实际系统时受到限制。 在实际中也常用双曲正切函数代替在实际中也常用双曲正切函数代替 S 形函 数，其输出值的范围 形函 数，其输出值的范围( 1,1)，即：，即： () () 1 ( ),0 1 x x e f x e = +10 7.2 神经组织的基本特征和人工神经元 神经组织的基本特征和人工神经元 2）人工神经元的）人

10、工神经元的 M-P 模型模型 神经元中三种常用的激发函数神经元中三种常用的激发函数 ( )f x x ( )f x x ( )f x 1 0 x -1 1 (2) ( )1, 0 x f xe =+ () () 1 ( ), 1 0 x x e f x e = + 1,0 ( ) 0,0 x f x x = 11 7.3 多层前馈神经网络模型多层前馈神经网络模型 网络模型的结构包括：网络模型的结构包括： 1）网络的层数和每层神经元的数量；）网络的层数和每层神经元的数量； 2）神经元之间的连接方式；）神经元之间的连接方式； 3）非线性神经元的非线性函数。）非线性神经元的非线性函数。 建立建立 N

11、N 模型，需要确定网络的结构和参数。模型，需要确定网络的结构和参数。 网络中的参数：网络中的参数： 神经元之间连接的权值和神经元的阈值。神经元之间连接的权值和神经元的阈值。 12 7.3 多层前馈神经网络模型多层前馈神经网络模型 考虑考虑 MIMO 非线性系统非线性系统 ( )=yf x 其中，其中， T 12n yyy=y?输出向量，输出向量， T 12m xxx=x?输入向量输入向量,f未知非线性函数未知非线性函数 1）前馈神经网络模型的结构）前馈神经网络模型的结构 1 x m x n y 1 y ? Cyhenko G (1989)和和 K Funahashi (1989)重要 研究成果

12、： 重要 研究成果：只要网络结构充分大只要网络结构充分大（即隐含层神经元 数目成分大） ，经过精心选择网络参数，前馈 （即隐含层神经元 数目成分大） ，经过精心选择网络参数，前馈 NN 可以以任意精度逼近任意连续函数。可以以任意精度逼近任意连续函数。 MIMO 系统模型可由三层前馈神经网络来逼近。系统模型可由三层前馈神经网络来逼近。 3 13 1）前馈神经网络模型的结构）前馈神经网络模型的结构 1 x m x 2 x 1 H 2 H l H . . . . . . . . . 1 y n y (1) 11 w (1) 21 w (1) 1l w (1) 12 w (1) 22 w (1) 2l

13、 w (1) lm w (1) lm w (1) 2m w (2) 11 w (2) 1n w (2) 12 w (2) 2n w (2) 1l w (2) nl w 特点：特点：同层神经元互不相连，输 入与输出层之间没有直接联系。 同层神经元互不相连，输 入与输出层之间没有直接联系。 网络输入层和输出层的单 元数由问题本身确定。 网络输入层和输出层的单 元数由问题本身确定。 确定网络的结构问题简化 为确定隐层单元数目的问题。 确定网络的结构问题简化 为确定隐层单元数目的问题。 7.3 多层前馈神经网络模型多层前馈神经网络模型 14 1）前馈神经网络模型的结构）前馈神经网络模型的结构 1 x

14、m x 2 x 1 H 2 H l H . . . . . . . . . 1 y n y (1) 11 w (1) 21 w (1) 1l w (1) 12 w (1) 22 w (1) 2l w (1) lm w (1) lm w (1) 2m w (2) 11 w (2) 1n w (2) 12 w (2) 2n w (2) 1l w (2) nl w 确定隐层单元数目可以由经 验或试验来决定。 确定隐层单元数目可以由经 验或试验来决定。 试验的方法：试验的方法： 从小到大增加隐层单元数目， 逐次删除连接权值最小的单元； 从小到大增加隐层单元数目， 逐次删除连接权值最小的单元； 先取一个

15、充分大的隐含单元 数，逐次删除连接权值最小的单 元，直到删除该单元明显影响网 络模型的精度为止。 先取一个充分大的隐含单元 数，逐次删除连接权值最小的单 元，直到删除该单元明显影响网 络模型的精度为止。 7.3 多层前馈神经网络模型多层前馈神经网络模型 15 7.3 多层前馈神经网络模型多层前馈神经网络模型 2）前馈神经网络权值问题的数学描述 ）前馈神经网络权值问题的数学描述 确定网络模型的参数确定网络模型的参数建立网络模型关键建立网络模型关键 问题之一，即确定连接权值（含阈值） 。问题之一，即确定连接权值（含阈值） 。 基本思路：基本思路： 取得系统的一组实测输入输出数据 （即训练 样本）

16、，对应于已知输入的输出为理想输出； 取得系统的一组实测输入输出数据 （即训练 样本） ，对应于已知输入的输出为理想输出； 确定网络模型参数（即连接权值） ，使得确定网络模型参数（即连接权值） ，使得模模 型的输出与理想输出的偏差达到极小。型的输出与理想输出的偏差达到极小。 16 2）前馈神经网络权值问题的数学描述）前馈神经网络权值问题的数学描述 7.3 多层前馈神经网络模型多层前馈神经网络模型 假设取得了假设取得了 N 个样本，个样本，( ), ( );1,2,tt tN=yx?， 其中其中 11 , nm RR yx。 当第当第 t 个样本个样本 T 12 ( )( ),( ),( ) m tx t x txt=x?的原始数 据 输 入 网 络 时 ， 网 络 响