第8章 高级神经网络,8.1 模糊RBF网络 在模糊系统中，模糊集、隶属度函数和模糊规则的设计是建立在经验知识基础上的这种设计方法存在很大的主观性将学习机制引到模糊系统中，使模糊系统能够通过不断学习来修改和完善隶属函数和模糊规则，是模糊系统的发展方向模糊系统与模糊神经网络既有联系又有区别，其联系表现为模糊神经网络在本质上是模糊系统的实现，其区别表现为模糊神经网络又具有神经网络的特性 神经网络与模糊系统的比较见表8-1模糊神经网络充分地利用了神经网络和模糊系统各自的优点，因而受到了重视表8-1 模糊系统与神经网络的比较,将神经网络的学习能力引到模糊系统中，将模糊系统的模糊化处理、模糊推理、精确化计算通过分布式的神经网络来表示是实现模糊系统自组织、自学习的重要途径在模糊神经网络中，神经网络的输入、输出节点用来表示模糊系统的输入、输出信号，神经网络的隐含节点用来表示隶属函数和模糊规则，利用神经网络的并行处理能力使得模糊系统的推理能力大大提高模糊神经网络在本质上是将常规的神经网络赋予模糊输入信号和模糊权值，其学习算法通常是神经网络学习算法或其推广模糊神经网络技术已经获得了广泛的应用，当前的应用主要集中在以下几个领域：模糊回归、模糊控制、模糊专家系统、模糊矩阵方程、模糊建模和模糊模式识别。
模糊神经网络是将模糊系统和神经网络相结合而构成的网络利用RBF网络与模糊系统相结合，构成了模糊RBF网络8.1. 1 网络结构 采用图8-1所示的模糊神经网络系统，其模糊推理系统主要由输入层、模糊化层、模糊相联层、模糊后相连层和输出层构成输出层(o),模糊推理层(k),模糊化层(j),输入层(i),图8-1 模糊RBF神经网络结构,模糊RBF网络中信号传播及各层的功能表示如下：第一层：输入层 该层的各个节点直接与输入量的各个分量连接，将输入量传到下一层对该层的每个节点i的输入输出表示为：,,第二层：隶属函数层，即模糊化层 该层的每个节点具有隶属函数的功能，采用高斯函数作为隶属函数对第j个节点：其中 和 分别是第i个输入变量的第j个模糊集合高斯函数的均值和标准差第三层：规则层，即模糊推理层该层通过与模糊化层的连接来完成模糊规则的匹配，各个节点之间实现模糊运算，即通过各个模糊节点的组合得到相应的点火强度每个节点j的输出为该节点所有输入信号的乘积，即,,,其中 为输入层中第i个输入隶属函数的个数，即模糊化层节点数第四层：输出层 该层的每个节点的输出为该节点所有输入信号的加权和，即其中l为输出层节点的个数，W为输出节点与第三层各节点的连接权矩阵。
在此模糊神经网络中，可调参数有三类：一类为规则的权系数 ；第二类和第三类为高斯函数的均值 和标准差 ，即输入隶属函数的参数8.1.2 基于模糊RBF网络的逼近算法 采用模糊RBF网络逼近对象，取网络结构为2-4-1，如图8-2所示图8-2 模糊RBF神经网络逼近,取 ， 和 分别表示网络输出和理想输出网络的输入为u(k)和y(k)，网络的输出为 ，则网络逼近误差为： 采用梯度下降法来修正可调参数，定义目标函数为：,,网络的学习算法如下： 输出层的权值通过如下方式来调整:,,则输出层的权值学习算法为：,,其中 为学习速率， 为动量因子输入隶属函数参数修正算法为：,,,其中,,,,隶属函数参数学习算法为：,8.1.3 仿真实例,使用模糊RBF网络逼近对象：其中采样时间为1ms 模糊RBF网络逼近程序见chap8_1.m8.2 Pi-Sigma神经网络 神经模糊建模是近年来基于模糊集理论发展起来的一种新的方法 模糊建模技术缺点是过分地依赖隶属函数的准确性。
采用高木-关野模糊系统，用一种混合型的pi-sigma神经网络，可以建立一种自适应能力很强的模糊模型这种模型不但实现了模糊模型的自动更新，而且能不断修正各模糊子集的隶属函数，使模糊建模更具合理性8.2.1 高木-关野模糊系统 在高木-关野模糊系统中，高木和关野用以下“ ”规则的形式来定义模糊系统的规则：,：If is ， is ， … ， is then,,对于输入向量，高木-关野模糊系统的各规则输出 等于各 的加权平均：,,,,式中，加权系数 包括了规则 作用于输入所取得的值8.2.2 混合型pi-sigma神经网络 常规的前向型神经网络含有求和节点，这给处理某些复杂问题带来了困难一种基于混合型pi-sigma神经网络模型如图8-5所示，在该网络中，输入神经元有4个，S、P和·分别表示相加、相乘和相乘运算图8-5 具有4个输入的混合型pi-sigma神经网络,,显然，这种结构的神经网络属于高木-关野模糊系统采用该网络实现的模糊系统可方便地修正隶属函数和参数，适合于复杂系统的模糊预测和控制。
为方便神经网络的学习，各模糊子集的隶属函数均取高斯型，即：,网络的输出为：,,混合型pi-sigma神经网络学习算法：假设网络的期望输出为 定义代价函数：,,,根据梯度下降法有：,,,其中,其中 对 有：,其中,,,,,,,其中α、β为学习速率8.2.3 仿真实例使用混合型pi-sigma神经网络逼近对象：,,混合型pi-sigma神经网络逼近程序见chap8_2.m,8.3 小脑模型神经网络8.3. 1 CMAC概述 小脑模型神经网络（CMAC-Cerebellar Model Articulation Controller）是一种表达复杂非线性函数的表格查询型自适应神经网络，该网络可通过学习算法改变表格的内容，具有信息分类存储的能力CMAC已被公认为是一类联想记忆网络的重要组成部分，能够学习任意多维非线性映射，CMAC算法被证明可有效地用于非线性函数逼近、动态建模、控制系统设计等 CMAC比其它神经网络的优越性体现在：（1）小脑模型是基于局部学习的神经网络，它把信息存储在局部结构上，使每次修正的权极少，在保证函数非线性逼近性能的前提下，学习速度快，适合于实时控制；（2）具有一定的泛化能力，即所谓相近输入产生相近输出，不同输入给出不同输出；,(3) 具有连续（模拟）输入输出能力；(4) 采用寻址编程方式，在利用串行计算机仿真时，它将使响应速度加快；(5) CMAC函数非线性逼近器对学习数据出现的次序不敏感。
由于CMAC所具有的上述优越性能，使它比一般神经网络具有更好的非线性逼近能力，更适合于复杂动态环境下非线性实时控制的要求 CMAC神经网络的结构如图8-8所示图8-8 CMAC神经网络结构,,8.3.2 一种典型CMAC算法 CMAC网络由输入层，中间层和输出层组成在输入层与中间层、中间层与输出层之间分别为由设计者预先确定的输入层非线性映射和输出层权值自适应性线性映射 CMAC神经网络的设计主要包括输入空间的化分、输入层至输出层非线性映射的实现及输出层权值学习算法CMAC是前馈网络，输入输出之间的非线性关系由以下两个基本映射实现 （1）概念映射（UAC） 概念映射是从输入空间U至概念存储器AC的映射 设输入空间向量为 ，量化编码为 ，输入空间映射至AC中c个存储单元（c为二进制非零单元的数目）采用下式表示映射后的向量：Rp=S([up])=[s1(up),s2(up),…,sc(up)]T式中sj([up])=1 , j=1,2,…,c 映射原则为：在输入空间邻近的两个点，在AC中有部分的重叠单元被激励。
距离越近，重叠越多；距离越远的点，在AC中不重叠，这称为局域泛化，c为泛化常数2）实际映射 （AC AP） 实际映射是由概念存储器AC中的c个单元，用杂散编码技术映射至实际存储器AP的c个单元，c个单元中存放着相应权值网络的输出为AP中c个单元的权值的和 只考虑单输出： 即,,CMAC采用的学习算法如下： 采用δ学习规则调整权值，权值调整指标为,,其中 由梯度下降法，权值按下式调整：,,,其中 为惯性系数8.3.3 仿真实例,采用CMAC网络逼近非线性对象：,,取u(k)作为网络的输入，采用线性化函数对输入状态进行量化，实现CMAC的概念映射：,其中xmin和xmax输入的最大最小值，M为xmax量化后所对应的最大值，round()为四舍五入的Matlab函数采用杂散编码技术中的除留余数法实现CMAC的实际映射设杂凑表长为m，以元素值s(k)+i除以某数N（N<=m）后所得余数+1作为杂凑地址，实现了实际映射，即,其中 在仿真中，取M=100，N=7，取泛化参数c=7,=1.5,=0.05。
CMAC网络逼近程序为chap8_3.m8.4 Hopfield神经网络8.4.1 Hopfield网络原理 1986年美国物理学家J.J.Hopfield利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，提出了Hopfield神经网络，并建立了求解优化计算问题的方程基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息Hopfield神经网络是一个反馈型神经网络，网络中的神经元在时刻的输出状态实际上间接地与自己的时刻的输出状态有关反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候 Hopfield神经网络的能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数网络收敛就是指能量函数达到极小值如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。
Hopfield神经网络模型是由一系列互联的神经单元组成的反馈型网络，如图8-10所示图8-10 Hopfield网络模型,,如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题对于Hopfield神经网络第i个神经元，采用微分方程建立其输入输出关系，即： 其中 其中g(•)为双曲函数，一般取为： 为n个神经元的网络状态向量； 为网络的输出向量； 为网络的输入向量定义Hopfield网络的Lyapunov能量函数为,,若权值矩阵 是对称的（ ），则,,由于 ,则,由于 ，双曲函数是单调上升函数，显然它的反函数 也为单调上升函数，即有 ，则可得到 ，即能量函数 具有负的梯度，当且仅当 时, （ ）。