《智能控制理论教案3_神经网络控制(12版)ppt课件》由会员分享，可在线阅读，更多相关《智能控制理论教案3_神经网络控制(12版)ppt课件（209页珍藏版）》请在金锄头文库上搜索。
1、 主讲 范立南沈阳大学信息工程学院 智能控制理论及其应用第3章神经网络控制 3 1神经网络的发展和应用3 2神经网络的特性3 3生物神经元的结构与功能3 4人工神经网络模型与变换函数3 5典型前馈神经网络 BP网络3 6典型反馈神经网络 Hopfield网络3 7神经网络控制原理3 8神经网络的应用实例 第3章神经网络控制 神经网络研究热潮的再度兴起 不仅仅是因为神经科学本身取得了巨大的进展 更主要的原因在于发展新型计算机和人工智能新途径的迫切需要 神经网络的研究内容相当广泛 反映了多学科交叉技术领域的特点 神经网络控制是一种基本上不依赖于模型的控制方法 适用于具有不确定性或高度非线性的控制对
2、象 具有较强的适应和学习功能 是智能控制的一个重要分支领域 3 1神经网络的发展和应用 神经网络的研究至今有60多年的历史 其发展道路曲折 目前已得到较深入而广泛的研究与应用 1943年 心理学家McCulloch和数理学家Pitts提出形式神经元数学模型 通常称为MP模型1949年 D O Hebb提出调整神经网络连接权的规则 Hebb学习规则 1958年 F Rosenblatt提出感知机模型 用于模式分类 3 1神经网络的发展和应用 1969年M Minsky和S Papert发表专著 感知机 指出线性感知机功能有限70年代 神经网络研究处于低潮 3 1神经网络的发展和应用 1982 1
3、984年 美国物理学家J J Hopfield发表2篇文章 提出一种反馈互连网 称Hopfield网 开拓了神经网络用于联想记忆和优化计算的新途径 3 1神经网络的发展和应用 1986年 美国加州大学学者D E Rumelhart 鲁梅尔哈特 和J L McClelland 麦克莱兰 提出多层前馈网的反向传播算法 BackBropagation 简称BP网络或BP算法 DavidRumelhart JamesMcClelland 3 1神经网络的发展和应用 1987年 在美国召开第1届国际神经网络会议1990年12月 国内首届神经网络大会在北京举行 3 1神经网络的发展和应用 发展趋向及前沿问
4、题对智能和机器关系问题的认识将进一步增长神经计算和进化计算将有重大的发展神经网络结构和神经元芯片的作用将不断扩大 3 1神经网络的发展和应用 模式识别与图像处理印刷体和手写体字符识别语音识别签字识别指纹识别人脸识别癌细胞检测心电图和脑电图分类目标检测与识别 3 1神经网络的发展和应用 控制与优化化工过程控制机械手运动控制电弧炉电极控制石油精练和食品工业中优化控制 3 1神经网络的发展和应用 预测与管理股票市场预测有价证券管理借贷风险分析信用卡管理机票管理 3 1神经网络的发展和应用 通信自适应均衡路由选择其它导航电机故障检测多媒体技术等 3 2神经网络的特性 神经网络是受人和动物神经系统启发
5、利用大量简单处理单元互联而构成的复杂系统 以解决复杂模式识别与行为控制问题 人工神经网络是一种非线性的映射方式 它将输入的特征值映射到网络的输出分类结果 并可依照其分类的误差大小或某些能量函数来调整网络中的加权值使其达到收敛 这些方法模仿人的生理学习功能 并能够将输入信息结合到分类规则中去 3 2神经网络的特性 神经网络对于解决模式识别问题来说比其他方法具有3点突出的优势 对问题的了解要求较少 可以实现特征空间较复杂的划分 适合于用高速并行处理系统来实现 3 2神经网络的特性 并行分布处理神经网络具有高度的并行结构和并行实现能力 因而能够有较好的耐故障能力和较快的总体处理能力特别适于实时控制和
6、动态控制 3 2神经网络的特性 非线性映射神经网络具有固有的非线性特性 这源于其近似任意非线性映射 变换 能力这一特性给非线性控制问题带来新的希望 3 2神经网络的特性 通过训练进行学习神经网络是通过所研究系统过去的数据记录进行训练的一个经过适当训练的神经网络具有归纳全部数据的能力因此 神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题 3 2神经网络的特性 适应与集成神经网络能够适应在线运行 并能同时进行定量和定性操作神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号 解决输入信息间的互补和冗余问题 并实现信息集成和融合处理这些特性特别适于复杂 大规模和多变
7、量系统的控制 3 2神经网络的特性 硬件实现神经网络不仅能够通过软件而且可借助硬件实现并行处理由超大规模集成电路实现的硬件已经面世这使得神经网络具有快速和大规模处理能力的网络 3 2神经网络的特性 总之 神经网络具有自学习自适应自组织大规模并行处理等特点在自动控制领域展现了广阔的应用前景 3 3生物神经元的结构与功能生物神经元的结构 人脑是由大量的神经元 神经细胞 组合而成神经元之间互相连接神经系统的基本构造是神经元是处理人体内各部分之间相互信息传递的基本单元据神经生物学家研究的结果表明 人的大脑一般有1010 1012个神经元 3 3生物神经元的结构与功能生物神经元的结构 大多数神经元由一个
8、细胞体和突两部分组成 3 3生物神经元的结构与功能生物神经元的结构 3 3生物神经元的结构与功能生物神经元的结构 细胞体由细胞核 细胞质和细胞膜组成突分两类 即轴突和树突 3 3生物神经元的结构与功能生物神经元的结构 轴突是个突出部分 细胞体向外伸出的最长的一条分支 即神经纤维 把本神经元的输出发送至其它相连接的神经元远离细胞体一侧的轴突端有许多分支 称轴突末梢轴突通过轴突末梢向其他神经元传出神经冲动 3 3生物神经元的结构与功能生物神经元的结构 树突也是突出部分 但一般较短 且分枝很多 与其它神经元的轴突相连树突相当于细胞输入端 树突用于接收周围其它神经元的神经冲动 生物信号 神经冲动只能由
9、前一级神经元的轴突末梢传向下一级神经元的树突或细胞体 不能作反向的传递 轴突和树突共同作用 实现了神经元间的信息传递 3 3生物神经元的结构与功能生物神经元的结构 神经元具有两种常规工作状态 兴奋与抑制 即满足 0 1 率当传入的神经冲动使细胞膜电位升高超过阈值 约为40mv 时 细胞进入兴奋状态 产生神经冲动并由轴突输出当传入的神经冲动使膜电位下降低于阈值时 细胞进入抑制状态 没有神经冲动输出 3 3生物神经元的结构与功能生理神经元的功能 脑神经生理学研究结果表明 每个人脑大约含有1010 1012个神经元 每一神经元又约有103 104个突触神经元通过突触形成的网络 传递神经元间的兴奋与抑
10、制大脑的全部神经元构成极其复杂的拓扑网络群体 用于实现记忆与思维 3 4人工神经网络模型与变换函数 人工神经网络 ArtificialNeuralNetworks ANN 是反映人脑结构及功能的一种抽象数学模型一个人工神经网络是由大量神经元结点互连而成的复杂网络 用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为人工神经网络是由大量的简单计算处理单元 神经元 通过极其丰富和完善的连接而构成的自适应非线性动态系统 3 4人工神经网络模型与变换函数 一个基于人工神经网络的智能系统是通过学习获取知识后建立的从本质上讲 人工神经网络的学习是一种归纳学习方式 它通过对大量实例的反复学习 由内部自
11、适应过程不断修改各神经元之间互连的权值 最终使神经网络的权值分布收敛于一个稳定的范围神经网络的互连结构及各连接权值稳定分布就表示了经过学习获得的知识 3 4人工神经网络模型与变换函数人工神经元的组成 人工神经元模型 3 4人工神经网络模型与变换函数人工神经元的组成 神经网络在两个方面与人脑相似 1 神经网络获取的知识是从外界环境中学习得来的 2 互连神经元的连接强度 即突触权值 用于储存获取的知识用于完成学习过程的程序称为学习算法 其功能是以有序的方式改变网络的突触权值以获得想要的设计目标 3 4人工神经网络模型与变换函数人工神经元的组成 可把ANN看成是以处理单元为结点 用加权有向弧 链 相
12、互连接而成的有向图其中 处理单元是对生物神经元的模拟 而有向弧则是轴突 突触 轴突末梢 树突对的模拟有向弧的权值表示两处理单元间相互作用的强弱在简单的人工神经网络模型中 用权和乘法器模拟突触特性 用加法器模拟树突的互联作用 而且与阈值比较来模拟细胞体内电化学作用产生的开关特性 3 4人工神经网络模型与变换函数 决定神经网络整体性能的三大要素 1 神经元 信息处理单元 的特性 2 神经元之间相互连接的形式 拓扑结构 3 为适应环境而改善性能的学习规则 3 4人工神经网络模型与变换函数人工神经元的组成 该神经元模型的输入输出关系为其中称为阈值称为连接权系数称为输出变换函数 或激励函数 或激活函数
13、或传递函数 3 4人工神经网络模型与变换函数常用的变换函数 变换函数实际上是神经元模型的输出函数 一般为非线性函数 用以模拟神经细胞的兴奋 抑制及阈值等非线性特性 经过加权加法器和线性动态系统进行时空整合的信号s 再经变换函数f s 后即为神经元的输出yy f s 3 4人工神经网络模型与变换函数常用的变换函数 比例函数 可微 不常用 3 4人工神经网络模型与变换函数常用的变换函数 符号函数 双向阈值函数 不可微 类阶跃 零均值 3 4人工神经网络模型与变换函数常用的变换函数 饱和函数 可微 零均值 3 4人工神经网络模型与变换函数常用的变换函数 双曲函数 可微 类阶跃 零均值 3 4人工神经
14、网络模型与变换函数常用的变换函数 阶跃函数 阈值函数 不可微 类阶跃 正值 3 4人工神经网络模型与变换函数常用的变换函数 S形 Sigmoid 函数 可微 类阶跃 正值 3 4人工神经网络模型与变换函数常用的变换函数 高斯函数 可微 类脉冲 3 4人工神经网络模型与变换函数 上述非线性变换函数的显著特征突变性饱和性正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性 3 4人工神经网络模型与变换函数人工神经网络结构 将大量功能简单的基本神经元通过一定的拓扑结构组织起来 构成群体并行分布式处理的计算结构 即神经网络结构 网络结构一般由许多个神经元组成 每个神经元有一个单一的输出 输出可
15、以连接到很多其他的神经元 其输入有多个连接通路 每个连接通路对应一个连接权系数 3 4人工神经网络模型与变换函数人工神经网络结构 神经网络是一个具有如下性质的有向图对于每个结点有一个状态变量结点i到结点j有一个连接权系数对于每个结点有一个阈值对于每个结点定义一个变换函数最常见的情形为 3 4人工神经网络模型与变换函数人工神经网络结构 根据神经元之间连接的拓扑结构不同 神经网络结构可分为两大类层状结构网状结构 层状结构的神经网络由若干层组成 每层中有一定数量的神经元 相邻层中神经元单向连接 一般同层内的神经元不能连接 网状结构的神经网络中 任何两个神经元之间都可能双向连接 3 4人工神经网络模型
16、与变换函数人工神经网络结构 常见的神经网络结构前向网络 前馈网络 3 4人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构反馈网络 3 4人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构相互结合型网络 3 4人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构混合型网络 3 5典型前馈神经网络 BP网络感知机 感知器 基本感知机是一个两层网络分为输入层和输出层每层由多个处理单元 神经元 构成 3 5典型前馈神经网络 BP网络感知机 感知器 感知机的学习是典型的有教师学习 训练 训练要素 训练样本 训练规则当给定某一训练模式时 输出单元会产生一个实际的输出向量 用期望输出与实际输出之差修正网络权值 3 5典型前馈神经网络 BP网络感知机 感知器 权值修正采用 学习规则 感知机的学习算法为对于 式中 表示t时刻输出表示输入向量的一个分量表示t时刻第i个输入的加权值表示阈值表示变换函数 3 5典型前馈神经网络 BP网络感知机 感知器 式中 表示学习因子 在 0 1 区间取值表示期望输出 教师信号 表示实际输出 3 5典型前馈神经网络 BP网络感知机 感知器
