《曲线曲面拟合.课件》由会员分享，可在线阅读，更多相关《曲线曲面拟合.课件（35页珍藏版）》请在金锄头文库上搜索。
1、非线性回归分析非线性回归分析（曲线曲面拟合）顾世梁2011年11月1 非线性回归分析的任务 非线性关系是最普遍的变数间量化关系，合适的非线性回归分析对研明变数间的数量关系有重要作用。非线性回归分析的广泛应用，将促使试验研究从定性向定量发展，由粗放向精细发展。线性关系形式单一，而非线性关系多种多样，选择合适的非线性模型并非易事。多项式也是一种（简单的一种）非线性关系，先前已有论述，本章仅讨论多项式以外的纯非线性关系。对于纯非线性回归分析，非线性回归统计数的估计、假设测验等均有很大难度。非线性回归分析的主要任务有下列4项：1) 建立合适的非线性模型；2) 估计非线性方程的统计数曲线曲面拟合；3)
2、合理的显著性测验；4) 方程的进一步利用（插值与外推）。2 非线性回归方程的选择主要有3种方法：1）解微分和偏微分方程组）解微分和偏微分方程组dsolve(Dy+y+c,)y=dsolve(Dy-b*y+c*y2,y(0)=k/(1+a)syms c b k; y=subs(y,c b/k); pretty(y)2）根据机理或基本数量关系推导）根据机理或基本数量关系推导 每一种函数关系都有一些基本特点，可以根据这些基本要素确定不同的方程。这些基本要素如零点(初值点)、峰值点（极大、极小）、拐点、渐近点等，应符合数据事实。 3) 试算、比较与选择试算、比较与选择 当变数间的可能关系所知甚少，可对
3、不同方程进行试拟合，比较分析后选出最佳关系模型。除了前述的关键点数据应与曲线、曲面有好的吻合外，也应保证数据在前、中、后段都能较好地拟合；另外也应保证较高的拟合度（决定系数）、较小的离回归平方和以及较好的插值和外推。 通常，较少参数的曲线刚性有余、柔性不足，而参数较多的方程有较大的柔性。但参数太多往往会过参数化（over-parameterization），拟合的难度大大增加。3 参数估计目标函数： 当给定当给定Xi 与与 Yi (i=1,2,n)时，时，Q 也是也是b的函数：的函数： Q=F(b)。 拟拟合合即即为为寻寻找找opt=min(F(b)的的过过程程。发发展展稳稳定定高高效效实实现
4、现全全局局最最优优拟拟合合的的算算法法是是非非线性回归的关键，难度较大。线性回归的关键，难度较大。1）线性化法）线性化法 对对一一些些简简单单的的方方程程，我我们们可可以以采采用用数数据据转转换换的的方方式式将将其其化化成成线线性性方方程程，然然后后用用一一元元或或多多元元线线性性回归的方式进行分析。如：回归的方式进行分析。如： 其缺陷是该类方法仅适用于简单的方程，而绝大其缺陷是该类方法仅适用于简单的方程，而绝大多数纯非线性方程较复杂，不能用线性化方法进行多数纯非线性方程较复杂，不能用线性化方法进行参数估计。参数估计。2）一些通用方法）一些通用方法(1)梯度法(快速登山法, Gradient)
5、；给定某一起始参数点：给定某一起始参数点： 若若=0, bj 在该点前后的变化不会使在该点前后的变化不会使Q变化变化0, bj 在该点的增加将使在该点的增加将使Q变大变大令令0朝着使朝着使Q减小的方向减小的方向 因而因而一个实例：b0=3，20，0.5XYf0Y-f0df/dKdf/dadf/db20.300.35896-0.058960.11965-0.01580.6320140.860.809340.050660.26978-0.029552.3639961.731.503200.226800.50107-0.03754.4999882.202.195690.004310.73190-0.
6、029434.70937102.472.64373-0.173730.88124-0.01573.13958122.672.85830-0.188300.95277-0.006751.62009142.802.94627-0.146270.98209-0.002640.73879-.35275-4.813e-3.16480(2) 高斯法(Gauss)；(3) 高斯-牛顿法(Gauss-Newton)； 以以新新的的b值值再再运运行行前前述述过过程程，反反复复迭迭代代，直至直至delta趋于趋于0，或，或Q已不再变小。已不再变小。 f 按多元按多元Taylor级数展开（略去二次及二次以上各项）：
7、级数展开（略去二次及二次以上各项）： 则目标函数可以转化为则目标函数可以转化为:令得新的优化点得新的优化点: :当当b与与b(0)有差异时，有差异时，应令应令b替代替代b(0)重新计算重新计算 由由 =0，或，或Q的前后的前后差异小于某一定值。差异小于某一定值。一个实例：b0=3，20，0.5XYf0Y-f0df/dKdf/dadf/db20.300.35896-0.058960.11965-0.01580.6320140.860.809340.050660.26978-0.029552.3639961.731.503200.226800.50107-0.03754.4999882.202.1
8、95690.004310.73190-0.029434.70937102.472.64373-0.173730.88124-0.01573.13958122.672.85830-0.188300.95277-0.006751.62009142.802.94627-0.146270.98209-0.002640.73879df/dKdf/dadf/dbY-f00.1197-0.01580.63201-0.058960.2698-0.02962.363990.050660.5011-0.03754.499980.22680.7319-0.02944.709370.004310.8812-0.015
9、73.13958-0.173730.9528-0.00681.62009-0.18830.9821-0.00260.73879-0.14627XY得新的优化点得新的优化点: :反复迭代反复迭代(4) 改良高斯牛顿法(Levenberg-Marquardt) 这是梯度法和高斯-牛顿法相结合的一种方法 。A 很可能是奇异的，很可能是奇异的，需对此阵进行调整需对此阵进行调整: :作用: 一可解决A阵奇异，无法求解之困；二是A阵对角线元素包含了较大的与求解相关的信息量，加快趋于全局优的进程。 (5) 极大似然法(maximum likelihood)。 大多数著名的统计软件如 SAS, Matlab,
10、 Sigmaplot等包含了基于这些算法的非线性方程拟合模块。3）上述通用算法存在的问题：）上述通用算法存在的问题：(1) 需提供方程的导数或偏导数；(2) 需提供合适的初值；(3) 一般难于实现全局最优拟合。最后一点往往是最主要、最致命的缺陷。4）曲线、曲面拟合新算法）曲线、曲面拟合新算法 (Contraction-Expansion Algorithm) CE算法包含三个基本步骤：(1) 收缩步，缩小步长的搜索过程；收缩步，缩小步长的搜索过程；(2) 扩张步，扩大步长的搜索过程；扩张步，扩大步长的搜索过程；(3)调整步，中心点、临界值的重新调整。调整步，中心点、临界值的重新调整。(1) 收
11、缩步收缩步(2) 扩张步扩张步(3) 中心点和步长的确定中心点和步长的确定 全全局局最最优优拟拟合合的的能能力力和和效效率率很很大大程程度度上上取取决决于于初初始始点点和和步步长长，初初始始步步长长一一般般总总不不是是很很合合适适的的，必必须须由由寻寻优优过过程程的的信信息息反反馈馈调调整整。记记录录在在寻寻优优搜搜索索过过程程中中的的度度点点（即即满满足足一一定定要要求求的的参参数数点点）的的数数量量和和位位置置，算算出它们平均数和标准差（出它们平均数和标准差（Sj为为bj的二阶原点矩）：的二阶原点矩）：(4) 调整临界值调整临界值C 若 C 很小，产生的度点数量太少，若 C 很大，产生的度
12、点数量太多，这些情形都将使算法的能力和效率受损。临界值 C 必须有反馈调节机制。若N是每一轮次的试算节点总数，nE是扩张步一个循环（由37个轮次组成）的度点数量，在一次循环后重新计算临界值（包括步长）。前后两次循环(v, v+1)使用不同的公式是为了减少循环过程波浪形C值的发生。在mod(v,2)=0时，需将nE清零。（5）CE 算法的主要优缺点：算法的主要优缺点： 不必提供导数与偏导数，利于通用程序的编制； 无需提供适合的初值； 实现最优拟合的能力较强； 搜索效率不高，对多参数非线性问题难于实施。 (6) 缩张算法的一些改进：缩张算法的一些改进： 1 每一轮次的试算节点数(z)随p的增加而指
13、数（爆炸）式增长。5步点时，z=5p=exp(1.60944p)；在3步点时，z=3p=exp(1.09861p)。因此在p7（5步点）或p13（3步点）时，算法负荷量已超出普通pc机的上限（每轮次试算节点数以1m计），该法不适宜用于参数数p15的非线性方程的拟合。在参数较多(p8)时，只在 p 维参数空间中均匀随机布点，试算节点数在基础条件下随p的增加而呈多项式（二次式）增长（z=300+25*p2），这比指数式增长大为减少，使多参数复杂非线性问题的拟合成为可能。 2 与解析法中的改良高斯牛顿法相结合，在给定的参数初值（或中间值）点处，利用参数微小差量的差分方程获得方程对某一参数的近似偏导函
14、数值，再将各（观察值）点的偏导函数值的乘积累加，得到近似的Jaccobi矩阵(A，或A*)和 常 数 阵 K， 再 由 A=K， 解 出 =A-1K（=A*-1K），当接近 0 或RSS(Q)小于收敛标准时结束。 f 依第依第j个参数个参数bj的近似偏导数为：的近似偏导数为：是是Xi及参数点及参数点 bj(0)处仅第处仅第bj 参数具微小差值时的回归值。参数具微小差值时的回归值。是是bj 微小差值参数增量；微小差值参数增量；bi(0)基于数值微分基础的改良高斯基于数值微分基础的改良高斯-牛顿法：牛顿法： 当当b与与b(0)有差异时，应令有差异时，应令b替代替代b(0)重新计算重新计算，当当接近
15、接近0或小于收敛标准时结束。或小于收敛标准时结束。 构建构建矩阵矩阵4 非线性回归统计数的假设测验 Jaccobi阵A的逆阵C (C=A-1)对角线元素为相应回归统计数标准化的方差，所谓标准化的方差是指离回归误差方差为1时的方差。因此，第j个回归统计数bj（与0的差异显著性）测验可用 t 测验：5 曲线、曲面拟合的matlab命令b,R,J=Nlinfit(x, y,fun,b0)b, resnorm=Lsqcurvefit(fun, b0, x, y)Polyfit(x, y, n)，Tool中basic fittingNlintool(x, y, fun, b0)gnlin(X, y, b0)6 一些实例Thank you !
