绝对经典RBF神经网络参考课件

《绝对经典RBF神经网络参考课件》由会员分享，可在线阅读，更多相关《绝对经典RBF神经网络参考课件（29页珍藏版）》请在金锄头文库上搜索。

1、RBF网络特点,只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。,1. Gauss（高斯）函数：,2. 反演S型函数：,3.

2、 拟多二次函数：, 称为基函数的扩展常数或宽度， 越小，径向基函数的宽度越小，基函数就越有选择性。,径向基函数（RBF）,全局逼近和局部逼近,全局逼近网络,局部逼近网络,当神经网络的一个或多个可调参数(权值和阈值)对任何一个输出都有影响，则称该神经网络为全局逼近网络。,对网络输入空间的某个局部区域只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络,学习速度很慢，无法满足实时性要求的应用,学习速度快，有可能满足有实时性要求的应用,RBF网络的工作原理,函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用

3、输出层来进行线性组合，以完成 逼近功能。,分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。,RBF神经网络两种模型,正规化网络RN,广义网络GN,通用逼近器,模式分类,基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。,基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性

4、不可分问题在高维空间内线性可分。,两种模型的比较,隐节点=输入样本数,隐节点输入样本数,所有输入样本设为 径向基函数的中心,径向基函数的中心 由训练算法确定,径向基函数 取统一的扩展常数,径向基函数的扩展常数 不再统一由训练算法确定,没有设置阈值,输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 平均值与目标值之平均值之间的差别。,RN,GN,函数逼近问题（内插值）,一般函数都可表示成一组基函数的线性组合，RBF网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线性组合，以完成逼近功能。给定样本数据 寻找函数，使其满足：,1.网络隐层使用个隐节点。 2.把所有个样本输入分别

5、作为个隐节点的中心。 3.各基函数取相同的扩展常数。 4.确定权值可解线性方程组： 设第j 个隐节点在第i个样本的输出为： 可矩阵表示： ,若R可逆，则解为 根据Micchelli定理可得，如果隐节点激活函数采用 径向基函数，且 各不相同，则线性方程组 有唯一解。,RBF网络输出,举例：RBF网络实现函数逼近,1.问题的提出：假设如下的输入输出样本，输入向量为-1 1区间上等间隔的数组成的向量P,相应的期望值向量为T。 P=-1:0.1:1; T=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344

6、 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201; %以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。 figure; plot(P,T,+) title(训练样本) xlabel(输入矢量P) ylabel(目标矢量T) grid on %目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通过构建径向基函数网络来进行曲线拟合,2.网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经元，输出层为线性神经元。 p=-3:0.1:3;a

7、=radbas(p);figure;plot(p,a)title(径向基传递函数)xlabel(输入p)ylabel(输出a) grid on % 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么径向基函数网络就完全能够精确的逼近任意函数。 a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(径向基传递函数之和)xlabel(输入p)yla

8、bel(输出a) grid on % 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。eg=0.02;sc=1;net=newrb(P,T,eg,sc);,3.网络测试：将网络输出和期望值随输入向量变化的曲线绘制在一张图上，就可以看出网络设计是否能够做到函数逼近。 figure;plot(P,T,+);xlabel(输入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(目标,输出) grid on,分类问题,低维空间：

9、线性不可分 高维空间：线性可分,空间转换,关于对单层感知器的讨论可知，若N维输入样本空间的样本模式是线性可分的，总存在一个用线性方程描述的超平面，使两类线性可分样本截然分开。若两类样本是非线性可分的，则不存在一个这样的分类超平面。但根据Cover定理，非线性可分问题可能通过非线性变换获得解决。 Cover定理可以定性地表述为：将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更可能是线性可分的,1(x),X2,X1,2(x),w11,w11,Output y,举例：逻辑运算异或的分类,XOR异或,空间变换前,基函数,空间变换后,RBF学习算法,RBF学习的三个参数：基函数的中心 方差

10、（扩展常数） 隐含层与输出层间的权值,当采用正归化RBF网络结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。 当采用广义RBF网络结构时，RBF网络的学习算法应该解决的问题包括：如何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值。,两种方法中心的选取,1.中心从样本输入中选取,2.中心自组织选取,常采用各种动态聚类算法对数据中心进行自组织选择，在学习过程中需对数据中心的位置进行动态调节。常用的方法是K-means聚类，其优点是能根据各聚类中心之间的距离确定各隐节点的扩展常数。由于RBF网的隐节点数对其泛化能力有

11、极大的影响，所以寻找能确定聚类数目的合理方法，是聚类方法设计RBF网时需首先解决的问题。除聚类算法外，还有梯度训练方法、资源分配网络(RAN)等,一般来说，样本密集的地方中心点可以适当多些，样本稀疏的地方中心点可以少些；若数据本身是均匀分布的，中心点也可以均匀分布。总之，选出的数据中心应具有代表性。径向基函数的扩展常数是根据数据中心的散布而确定的，为了避免每个径向基函数太尖或太平，一种选择方法是将所有径向基函数的扩展常数设为,一. 自组织中心选取法,1989年，Moody和Darken提出了一种由两个阶段组成的混合学习过程的思路。 两个步骤：无监督的自组织学习阶段 有监督学习阶段,其任务是用自

12、组织聚类方法为隐层节点的径向基函数确定合适的数据中心，并根据各中心之间的距离确定隐节点的扩展常数。 一般采用Duda和Hart1973年提出的k-means聚类算法。,其任务是用有监督学习算法训练输出层权值，一般采用梯度法进行训练。,在聚类确定数据中心的位置之前，需要先估计中心的个数 (从而确定了隐节点数)，一般需要通过试验来决定。由于聚类得到的数据中心不是样本数据 本身，因此用 表示第n次迭代时的中心。应用K-means聚类算法确定数据中心的过程如下。 （1）初始化。选择 个互不相同的向量作为初始聚类中心 （2）计算输入空间各样本点与聚类中心点的欧式距离,1.中心学习,(3)相似匹配。令 代

13、表竞争获胜隐节点的下标，对每一个输入样本 根据其与聚类中心的最小欧式距离确定其归类 ,即当 时， 被归为第 类，从而将全部样本划分为 个子集 每个子集构成一个以聚类中心为典型代表的聚类域。,（4)更新各类的聚类中心。采用竞争学习规则进行调整 将n值加1，转到第(2)步。重复上述过程直到。,其他,2.确定扩展常数,各聚类中心确定后，可根据各中心之间的距 离确定对应径向基函数的扩展常数。令 则扩展常数可取为,为重叠系数,3.学习权值,权值的学习可以用LMS学习算法 注意：LMS算法的输入为RBF网络隐含层的输出 RBF网络输出层的神经元只是对隐含层 神经元的输出加权和。 因此RBF网络的实际输出为

14、 其中 用LMS方法求解 用伪逆方法求解,为期望响应 是矩阵 的伪逆,伪逆的求法,奇异矩阵或非方阵的矩阵不存在逆矩阵，若XAX=A,AXA=X 则X称为A的伪逆阵。在matlab中用pinv（A）求伪逆,二.有监督选取中心算法,RBF中心以及网络的其他自由参数都是通过有监督的学习来确定，以单输出的RBF为例 定义目标函数 误差信号 寻求网络的自由参数 （与中心 有关）使目标函数 达到最小,N是训练样本的个数,1.输出层权值,2.隐含层RBF中心,3.隐含层RBF的扩展,其中 是 的导数,三.随机选取中心法,条件：典型的训练样本，隐含单元的中心是 随机的在输入样本中选取，且中心固定。因此此算法学习的参数只有两个： 方差和权值 四.OLS学习算法 RBF神经网络的性能严重依赖于所选择的中心数目和位置是否合适实际中，人们一般是随机地从输入模式中选择中心，或用某种聚类算法(如:K均值算法)选择出确定数目的中心，这样通常导致所设计的网络性能不是很差就是规模过大，甚至造成数值病态问题.Chen, Cowan,Grant (1992）提出的OLS(正交最小二乘)前向选择算法将RBF中心的选择归结为线性回归中子模型的选择问题这种算法能自动地避免网络规模过大和随机选择中心带来的数值病态问题，是一种有效的自动选择中心的算法。,谢 谢,