（毕业设计论文）《RBF神经网络》

《（毕业设计论文）《RBF神经网络》》由会员分享，可在线阅读，更多相关《（毕业设计论文）《RBF神经网络》（8页珍藏版）》请在金锄头文库上搜索。

1、第 1 章 绪论 1.1 RBF 神经网络简介 径向基函数神经网络（Radial Basis Function Neural Network)是Moody 和Darken于20世纪80年代末提出的一种具有单隐层得三层前馈网络，其结构和 学习算法与BP网络有着很大的差别，在一定程度上克服BP网络的缺点，近几十 年来，RBF、神经网络的应用已渗透到各个领域，并在只能控制、模式识别，计 算机视觉、自适应滤波和信号处理、非线性优化等方面取得了令人鼓舞的进展。 因此，BRF神经网络已经成为一个新的研究热点。 RBF神经网络模拟人脑中局部整理、相互覆盖接收域的神经网络结构，是一 种具有全局逼近性能的前馈网

2、络。它不仅有全局逼近性质，而且具有最佳逼近 性能。BRF网络结构上具有隐层到传输层的权值线性关系，同时训练方法快速易 行，不存在局部最优问题，这些优点给BRF网络的应用奠定了良好的基础。 RBF 神经网络已经被不同学科的理论和应用工作者研究。理论学家研究了 径向基函数的函数逼近理论。已经证明，只有有足够的隐节点径向基函数，RBF 可以任意地逼近多变量连续函数。Poggio 和 Girosi 通过 BRF 函数的函数逼近 性质提出了正规化网络。除了这些以外，对滑动平移中心，权值范数和具有不 同基函数和多尺度的网络也有研究。这些成果为研究 RBF 网络及其学习方法提 供了有用的理论框架。 已经有很

3、多种RBF网络的学习训练方法提了出来。在这些学习训练方法中， 网络的结构，即隐含层的节点数目，需要事先指定。一个合适的网络结构只有 通过不断的反复实验才能得到。如何得到合适的网络结构一直是RBFNN讨论的热 点。 BRF神经网络应用的领域非常广泛，在金融预测，模式识别，数据挖掘等领 域均有很好的利用。 当然BRF神经网络并非十全十美，其性能的好坏与网络的结构、基函数的类 型和采用的训练方法还有许多值得商榷的地方，这需要很多人进行深入的研究。 1.2 RBF神经网络结构原理及特点 1.2.1 RBF神经网络结构原理 RBF函数网络从结构上看是一个3层前馈网络(见图1)，包括一个输入层、一 个输出

4、层和一个隐含层。输人层节点的作用是将输入数据传递到隐含层节点。 隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，通常采用高 斯型函数： ) 1)(, 2 , 1(, 2 )()( exp 2 hj cxcx u j j T j j h j T iijjii Wy 1 )2( 其中， ),( 21m xxxx 是RBF网络的输人数据向量； i u 是第，个隐含层神经 元的输出，且 1 , 0 j u , j C 是高斯函数的中心值， j 是高斯函数的方差；h是隐 含层神经元数目。输出层节点的激活函数通常为简单的线性函数。式(2)中， T ihiiiii W),( 2 ; T h )

5、 1 ,( 21 。 RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键 因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令 人满意。例如，如果某些中心靠的太近，会产生近似线形相关，从而带来数值 上的病变条件。由于RBF网络中心选取是该网络能否成功用于实际的关键，因此 下面我们主要研究径向高斯函数中心的选取算法。 1.2.2 RBF神经网络技术概论及特点 RBF神经网络是一种性能优良的前馈型神经网络，RBF网络可以任意精度逼 近任意的非线性函数，且具有全局逼近能力，从根本上解决了BP网络的局部最 优问题，而且拓扑结构紧凑，结构参数可实现分离学习，收敛

6、速度快。RBF网络 和模糊逻辑能够实现很好的互补，提高神经网络的学习泛化能力。 RBF 神经网络的优点： （1）它具有唯一最佳逼近的特性，且无局部极小问题存在。 （2） （2） RBF 神经网络具有较强的输入和输出映射功能，并且理论证明在前 向网络中 RBF 网络是完成映射功能的最优网络。 （3） 网络连接权值与输出呈线性关系。 （4） 分类能力好。 （5） 学习过程收敛速度快。 RBF 神经网络除了具有一般神经网络的优点，如多维非线性映射能力，泛 化能力，并行信息处理能力等，还具有很强的聚类分析能力，学习算法简单方 便等优点；径向基函数(RBF) 神经网络是一种性能良好的前向网络 L 利用在

7、多 维空间中插值的传统技术, 可以对几乎所有的系统进行辩识和建模 L 它不仅在 理论上有着任意逼近性能和最佳逼近性能, 而且在应用中具有很多优势,如和 Sigmoid 函数作为激活函数的神经网络相比, 算法速度大大高于一般的 BP 算法。 RBF 神经网络同 BP 网络相比, 不但在理论上它是前向网络中最优的网络, 而 且学习方法也避免了局部最优的问题局限。已经证明：一个 RBF 网络，在隐层 节点足够多的情况下，经过充分学习，可以用任意精度逼近任意非线性函数， 而且具有最优泛函数逼近能力，另外，它具有较快的收敛速度和强大的抗噪和 修复能力。 在理论上，RBF 网络和 BP 网络一样能以任意精

8、度逼近任何非线性函数。但 由于它们使用的激励函数不同，其逼近性能也不相同。Poggio 和 Girosi 已经 证明，RBF 网络是连续函数的最佳逼近，而 BP 网络不是。BP 网络使用的 Sigmoid 函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产 生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此 BP 网络训练过程很长。此外，由于 BP 算法的固有特性，BP 网络容易陷入局部 极小的问题不可能从根本上避免，并且 BP 网络隐层节点数目的确定依赖于经验 和试凑，很难得到最优网络。采用局部激励函数的 RBF 网络在很大程度上克服 了上述缺点，RBF 不仅有良

9、好的泛化能力，而且对于每个输入值，只有很少几 个节点具有非零激励值，因此只需很少部分节点及权值改变。学习速度可以比 通常的 BP 算法提高上千倍,容易适应新数据，其隐层节点的数目也在训练过程 中确定，并且其收敛性也较 BP 网络易于保证，因此可以得到最优解。 RBF 神经网络的缺点： （1） 最严重的问题是没能力来解释自己的推理过程和推理依据。 （2） 不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无 法进行工作。 （3） 把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势 必是丢失信息。 （4） 理论和学习算法还有待于进一步完善和提高。RBF 神经网络的非线性映 射

10、能力体现在隐层基函数上, 而基函数的特性主要由基函数的中心确定，从数 据点中任意选取中心构造出来的 RBF 神经网络的性能显然是不能令人满意的目 的。 （5） RBF 神经网络用于非线性系统建模需要解决的关键问题是样本数据的选 择在实际工业过程中, 系统的信息往往只能从系统运行的操作数据中分析得到, 因此如何从系统运行的操作数据中提取系统运行状况信息, 以降低网络对训练 样本的依赖, 在实际应用中具有重要的价值。隐层基函数的中心是在输入样本 集中选取的, 这在许多情况下难以反映出系统真正的输入输出关系, 并且初始 中心点数太多; 另外优选过程会出现数据病态现象。 1.2.3 神经网络在各领域的

11、应用 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得 了显著地成效，主要应用如下： （1）自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题， 主要有系统建模与辨识，pid参数整定，极点配置，内模控制，优化设计，预测 控制，最优控制，自适应控制，滤波与预测容错控制，模糊控制和学习控制等。 典型的例子是20世纪60年代初，美国“阿波罗”登月计划中，Kilmer和 Mc.clloch等人根据脊椎动物神经系统中网状结构的工作原理。提出了一个KMB 模型，以使登月车在远距离复杂环境下具有一定的自制能力。 （2）处理组合优化问题。最典型的例子是成功地解决了TSP问题，及旅行推

12、 销员问题（Traveling Salesman Problm） ，另外还有最大匹配问题、装箱问题 和作用调度等。 （3）模式识别。已成为应用于手写字符、汽车牌照、指纹和声音识别，还 可用于目标的自动识别和定位、机器人传感器的图像识别以及地震型号的鉴别 等。 （4）图像处理。对图像进行边缘监测，图像分割，图像压缩和图像恢复。 （5）传感器信号处理。传感器输出非线性特性的矫正，传感器故障监测， 滤波与除噪，环境影响因素的补偿，多传感器信息融合。 （6）机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故 障诊断及排除，智能自适应移动机器人的导航目。 (7)信号处理。能分别对通讯，语音，心

13、电和脑信号进行处理分类可用于海 底声纳信号的监测与分类，在反潜、扫雷等方面得到应用。 （8）卫生保健、医疗。比如通过训练自主组合的多次感知器可以区分正常 心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的 应用。 （9）经济。能对商品价格、股票价格和企业的可信度等进行短期预测。 （10）化工领域。能对制药、生物化学和化学工程等进行分析。如：进行蛋 白质结构分析、谱分析和化学反应分析等。 （11）焊接领域。国内外在参数选择、质量监测、质量预测和实时控制方面 都有研究，部分成果已得到应用。 （12）地理领域。在遥感图像分类中有广泛的应用，在GIS方面应用人工神 经网络理论，提高

14、系统对数据进行复杂的综合分析的功能。 （13）另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方 面亦有亦有。 第 2 章 RBF 神经网络函数逼近实例 2.1 RBF 神经网络算法描述 RBF中心选取的正交最小二乘算法: 正交最小二乘(Orthogonal least square一0Ls)法来源于线性回归模型。 令网络的训练样本对为 Nnndxn, 2 , 1),(, 。其中，N为训练样本数； ni n RX 为网络的输入数据矢量； 1 )(Rnd 为网络的期望输出响应。根据线性回 归模型，网络的期望输出响应可表示为： M i ii nenpnd 1 )()()( ), 2 ,

15、1;, 2 , 1(MiNn (3) 式中，M为隐含层单元数，MN； )(npi 是回归算子，它实际上是隐含层RBF在某 种参数下的响应，可表示为： ), 2 , 1;, 2 , 1)()(MiNntXGnp ini （4） i 是模型参数，它实际上是输出层与隐含层之间的连接权；e(n)是残差。将式 (3)写成矩阵方程形式，有： ePWd （5） 式中： T Ndddd)(,),2(),1 ( , T M wwwW, 2, 1 , , 2, 1M PPPP T iiii NpppP)(,),2(),1 ( ， T Neeee)(,),2(),1 ( P为回归矩阵。求解回归方程式(5)的关键问题

16、是回归算子矢量的只选择。一旦P 已定，模型参数矢量就可用线性方程组求解。 )1 (Miti 一般是选择输入样本 数据矢量集合 , 2 , 1NnXn 中的一个子集。每定一组 )1 (Miti 对应于输入 样本就能得到一个回归矩阵P。这里要注意的是，回归模型中的残差是与回归算 子的变化及其个数M的选择有关的。每个回归算子对降低残差的贡献是不同的， 要选择那些贡献显著的算子，剔除贡献差的算子。 OLS法的任务是通过学习选择合适的回归算子矢量只 )1 (MiPi 及其个数 M，使网络输出满足二次性能指标要求。OLS法的基本思想是：通过正交化只 )1 (MiPi 分析 i P 对降低残差的贡献，选择合适的回归算子，并根据性能指标