《人工神经网络_ppt》由会员分享，可在线阅读，更多相关《人工神经网络_ppt（41页珍藏版）》请在金锄头文库上搜索。
1、2018/10/16,第1页,第三章 径向基函数神经网络 （RBFRadial-Based Function Networks）,3.1 概 述,用BP算法解决异或问题,BP算法很容易收敛到局部最优，而我们无法判断得到的结果是局部最优还是全局最优，因为我们根本没有全局信息。,2018/10/16,第2页,RBF网络的基本思想,在分类之前，先将输入特征空间进行非线性映射，使得有待分类的两类样本的分布变成线性可分问题，然后用最简单的线性功能函数的神经元进行分类。,例：图示“异或”分布的两类样本，其分类函数相对复杂；,采用影射：,在新特征空间，原来的问题变成了线性可分问题。,于是，学习算法为： 第一
2、层：实现非线性影射； 第二层：线性分类。, 3.2 Cover模式分类理论 A complex pattern-classification problem cast in high-dimensional space nonlinearly is more likely to be linearly separable than in a low-dimensional space. 复杂模式分类问题非线性地表示在高维空间比表示在低维空间更易线性分类。,2018/10/16,第3页, 3.3 插值问题,给定 N 个不同的输入点 （矢量）：,寻找一个函数 满足条件： 其中：,例1：多项式插值(
3、曲线拟合),插值函数不唯一；,多项式阶数与点数相关：阶数 + 1 = 点数,将给定点的值代入模型，得到一个关于待定系数a、b、c、d、e的方程组：,给定5个点，用4次多项式进行插值。,以及每个点所对应的输出 (标量) ：,x0 为中心位置，s 决定“胖瘦”,2018/10/16,第4页,例2. Gaussian函数插值 (课件程序：CH3PolyGaussFit),一维Gaussian函数：,给定5个点，用中心分别在给定点上的 s =1 的5个Gaussian函数拟合：,得到：,将各个点代入有：,s 取值不同 ，拟合的结果也不同。例如，为 5 个Gaussian函数分别取不同的 s 值： 2.
4、5、1.25、3.2、1.5、0.5,2018/10/16,第5页,Gauss函数曲面插值,插值函数：,当 X 是2维矢量时，插值函数是Gauss曲面,径向基函数，Xi 是其中心位置。,拟合函数：,样本数据：,将给定的样本点代入：,为中心在 Xi 的径向基函数在 Xj 点的取值。,可以得到：,拟合函数为径向基函数的线性组合，径向基函数的项数与样本个数相同：,2007-10-31,第6页,其中：,插值运算对应于一个两层的径向基网络,多项式型：,反多项式型：,Gauss型：,其中：,其中：,其中：,常用径向基函数：,2018/10/16,第7页,3.4 有监督学习作为不适定超曲面重构问题,假设一系
5、统，输入 x 输出 y，无误差、无干扰理想情况下的关系为二次函数；,实测时输入 X=1,3,5,7,9，理想值如图示。,因存在噪声和误差，实测如图所示。,用足够高阶的模型，有可能将含噪的样本无误差地拟合起来，但得到的结果与真值的差距却未必减小。并且，阶数越高误差越小、但模型的泛化性能却越差。,过拟合问题( Over fitting / Over determined ): 模型的阶数大于系统的实际阶数。,问题： 如何得知实际系统的阶数？如何判断过拟合或拟合不足？,由线性回归得到输入输出关系的估计：,由4阶多项式拟合得到输入输出关系的估计。,2018/10/16,第8页,重构问题的适定性,给定稀
6、疏点集的函数（高维映射）重构问题：假定有一个系统 f，其输入矢量为 ，有界响应为 ，重构的意思就是通过输入输出样本找到未知映射 。,满足以下准则的重构问题是“适定的”：,(1). 存在性(Existence) ：对于每个输入矢量 都存在一个输出 与之对应；,(3). 连续性(Continuity，即，稳定性：Stability )：任给 存在 ，使得当 时 。其中运算符 表示该空间中点与点之间的距离。,(2). 唯一性(Uniqueness)：任意输入 ，当且仅当 X1=X2 时有 f(X1)=f(X2)；,2018/10/16,第9页,正问题与反问题(Inverse Problem),正问题
7、：例如，给定一个RLC谐振电路及其元件参数，我们可以建立一个描述该电路输入输出之间映射关系的微分方程，即求解一个“正问题”。,反问题：对于一个系统，如果所能得到的全部资料就是实际采集得到的输入、输出样本集，从由这些样本数据建立能够表达系统输入输出之间映射关系的数学模型，被称为“反问题 ( Inverse problem ) ”，也称为“系统重构问题”。,反问题通常是不适定的：,第一、存在性准则可能得不到满足，即某些输入矢量没有确定的输出对应；,第二、实测样本所提供的信息不足以唯一地确定重构模型，唯一性准则得不到满足；,第三、由于存在噪声干扰，相近的输入可能对应于差距很大的输出，于是，连续性准则
8、得不到满足。,求解反问题的学习算法必须附加先验（专业或经验的）知识等附加条件。因为，任何数学手段都不能补救信息缺失 ( A lack of information cannot be remedied by any mathematical trickery Lanczos, 1964 )。,2018/10/16,第10页,3.5 Tikhonov 正则化理论,系统输入：,理想输出：,拟合函数：,标准差项：,显然，只用 Es(F) 作为目标函数进行优化，可以得到误差 Es(F) 最小甚至 Es(F)=0 的拟合函数F(X) ，但无法避免过拟合问题。为此，Tikhonov 提出了“正则项”:,正
9、则项：,式中：D 是线性微分算子,Ec(F) 减小即拟合函数 F(X) 的梯度减小，意味着在满足误差最小的同时还要求拟合结果足够“平坦”，因此，正则项也称为“平滑项”。,2018/10/16,第11页,E(F) 所在空间是一个函数空间，该空间自变量的每个取值（矢量）代表一个函数。假设所有这些函数都是平方可积的，并且，类似数量空间中定义矢量的模一样，用函数的平方积分表示它们的“大小”，称为该空间中矢量的“范数”，即：称这个空间为“赋范空间”。,正则化问题：,寻找使目标函数：,达到最小的函数 F(X)。,自变量是函数 F(X)，因此，函数 E(F) 是一个泛函。,l 用于在平滑性和误差之间权衡，大
10、的 l 得到的拟合函数更加平滑但拟合误差大；而小的 l 拟合误差小但拟合函数不够平滑。,(3-10),2018/10/16,第12页,Frechet微分定义,式中： 是 X 的一个任意给定的函数。,假设 E(F) 在 F(X) 点取极小值，则对于任意 h(X)，有 dE(F , h) = 0。即：,(3-11),(3-12),由上式右边第一项得到：,(3-13),重写(3-10)式：,利用 d( X - Xi)函数的筛选特性，将两个函数在某点 Xi 的乘积表示成内积形式：,2018/10/16,第13页,(3-10)式第一项的Frechet 微分可写成：,两函数的内积定义为：,式中 是中心位于
11、 Xi 的 d 函数。,(3-10) 式E(F,h)中第二项的Frechet微分：,(3-15),(3-14),给定一个微分算子 D ，存在一个伴随算子 使得对于任意两个具有足够阶可微的函数 u 和 v 满足Green 恒等式：,2018/10/16,第14页,Euler-Lagrange 方程,伴随算子定义：,则有：,(3-17),于是(3-10)式的Frechet微分为：,(3-18),利用Green恒等式，对(3-15)式中第二项 令：,2018/10/16,第15页,而由Frechet微分的定义知：,所以，必须有：,即：,(3-19),此即Tikhonov函数 E(F, h) 存在极值
12、 Fl(X) 的必要条件。,如果(3-10)式所定义的正则化问题：,有解的必要条件是：,Tikhonov 函数 E(F,h) 存在极值的必要条件 (Euler-Lagrange 方程 ),2018/10/16,第16页,(3-19)式是一个偏微分方程，欲解之，需做一些积分变换方面的数学准备。,对于一个固定的 x ，G( X, x) 是 X 的函数且满足边界条件；,在 X=x 之外的所有点， G( X, x) 关于 X 的所有导数都连续，导数的阶数取决于微分算子 L的形式。,G( X, x) 作为 X 的函数，除在 X=x 点之外，处处满足微分方程：,(3-20),如此定义的函数 G( X, x
13、) 称为微分算子 L 的 Green函数。,而 X=x 是函数 G( X, x) 的奇异点：,LG( X, x) = d ( X x ),(3-21),即，Green函数具有重要性质：,例如：对于一阶微分 ，u(t-t0)是一个Green函数：,3. Green 函数,给定微分算子 L，定义一个函数 G( X, x) 满足以下条件：,2018/10/16,第17页,Green 函数应用示例：,令 j (X) 是 的连续或分段连续函数，则,是微分方程的解：,(3-22),(3-23),证明：对 (3-22) 式运用微分算子 L,由于L 是关于 X 的算子，所以 Lj(x) = 0，,再将(3-2
14、1) ：LG( X, x) = d( X-x) 代入上式，,并利用 d 函数的偶特性和筛选性。,(3-24),证毕.,例如：一阶常微方程 ，,将一阶微分 看作微分算子，前面已得知,是算子 L 的一个Green函数，于是，该常微方程的解为：,因此，如果能够找到了一个微分算子L的Green函数，那么，(3-22)式就是该微分算子构成的形如(3-23)式的所有微分方程解的通式。,交换积分与求和的次序 ； di-Fl(Xi) 中没有变量x ；利用 d 函数的筛选特性。,2018/10/16,第18页,已经得到 Tikhonov 函数的Euler-Lagrange方程（偏微分方程）：,(3-19),上式
15、的解就是 (3-11) 式正则问题的解，重写 (3-11) 式：,定义微分算子：,以及函数：,(3-25),(3-26),将(3-19)改写为： 则，其解为：,(3-27),4. 求解正则化问题,2018/10/16,第19页,最后：Tikhonov正则化问题：,解的形式为：,(3-27),解的几何意义是：给定数据样本反求系统函数，其最佳重构函数 Fl ( X ) 是 N 个中心分别位于数据样本 X1, X2, , XN 处的 Green函数的加权求和，其权值分别为：,其中：l 称为正则参数, l 越大拟合误差越大但拟合函数 Fl(X) 的平坦性增强, 反之，l 越小拟合误差越小但函数Fl(X)的平坦性减弱。 l 用于在拟合误差与平坦性之间进行权衡。,
