《曲线曲面拟合综述》由会员分享,可在线阅读,更多相关《曲线曲面拟合综述(35页珍藏版)》请在金锄头文库上搜索。
1、非线性回归分析 (曲线曲面拟合) 顾世梁 2011年11月 1 非线性回归分析的任务 非线性关系是最普遍的变数间量化关系,合 适的非线性回归分析对研明变数间的数量关系 有重要作用。非线性回归分析的广泛应用,将 促使试验研究从定性向定量发展,由粗放向精 细发展。线性关系形式单一,而非线性关系多 种多样,选择合适的非线性模型并非易事。多 项式也是一种(简单的一种)非线性关系,先 前已有论述,本章仅讨论多项式以外的纯非线 性关系。对于纯非线性回归分析,非线性回归 统计数的估计、假设测验等均有很大难度。 非线性回归分析的主要任务有下列4项: 1) 建立合适的非线性模型; 2) 估计非线性方程的统计数曲
2、线曲面 拟合; 3) 合理的显著性测验; 4) 方程的进一步利用(插值与外推)。 2 非线性回归方程的选择 主要有3种方法: 1)解微分和偏微分方程组 dsolve(Dy+y+c,) y=dsolve(Dy-b*y+c*y2,y(0)=k/(1+a) syms c b k; y=subs(y,c b/k); pretty(y) 2)根据机理或基本数量关系推导 每一种函数关系都有一些基本特点,可以根据 这些基本要素确定不同的方程。这些基本要素如 零点(初值点)、峰值点(极大、极小)、拐点、 渐近点等,应符合数据事实。 3) 试算、比较与选择 当变数间的可能关系所知甚少,可对不同方程进 行试拟合,
3、比较分析后选出最佳关系模型。除了前 述的关键点数据应与曲线、曲面有好的吻合外,也 应保证数据在前、中、后段都能较好地拟合;另外 也应保证较高的拟合度(决定系数)、较小的离回 归平方和以及较好的插值和外推。 通常,较少参数的曲线刚性有余、柔性不足,而 参数较多的方程有较大的柔性。但参数太多往往会 过参数化(over-parameterization),拟合的难度大 大增加。 3 参数估计 目标函数: 当给定Xi 与 Yi (i=1,2,n)时,Q 也是b的 函数: Q=F(b)。 拟合即为寻找opt=min(F(b)的过程。发 展稳定高效实现全局最优拟合的算法是非 线性回归的关键,难度较大。 1
4、)线性化法 对一些简单的方程,我们可以采用数据转换 的方式将其化成线性方程,然后用一元或多元 线性回归的方式进行分析。如: 其缺陷是该类方法仅适用于简单的方程,而绝大 多数纯非线性方程较复杂,不能用线性化方法进行 参数估计。 2)一些通用方法 梯度法(快速登山法, Gradient); 给定某一起始参数点 : 若 =0, bj 在该点前后的变化不会使Q变化 0, bj 在该点的增加将使Q变大 令 0 朝着使Q减小的方向 因而 一个实例:b0=3,20,0.5 XYf0Y-f0df/dKdf/dadf/db 20.300.35896-0.058960.11965-0.01580.63201 40
5、.860.809340.050660.26978-0.029552.36399 61.731.503200.226800.50107-0.03754.49998 82.202.195690.004310.73190-0.029434.70937 102.472.64373-0.173730.88124-0.01573.13958 122.672.85830-0.188300.95277-0.006751.62009 142.802.94627-0.146270.98209-0.002640.73879 -.35275-4.813e-3.16480 (2) 高斯法(Gauss); (3) 高斯-
6、牛顿法(Gauss-Newton); 以新的b值再运行前述过程,反复迭代, 直至delta趋于0,或Q已不再变小。 f 按多元Taylor级数展开(略去二次及二次以上各项): 则目标函数可以转化为: 令 得新的优化点: 当b与b(0)有差异时, 应令b替代b(0)重新计算 由 =0,或Q的前后 差异小于某一定值 。 一个实例:b0=3,20,0.5 XYf0Y-f0df/dKdf/dadf/db 20.300.35896-0.058960.11965-0.01580.63201 40.860.809340.050660.26978-0.029552.36399 61.731.503200.22
7、6800.50107-0.03754.49998 82.202.195690.004310.73190-0.029434.70937 102.472.64373-0.173730.88124-0.01573.13958 122.672.85830-0.188300.95277-0.006751.62009 142.802.94627-0.146270.98209-0.002640.73879 df/dKdf/dadf/dbY-f0 0.1197-0.01580.63201-0.05896 0.2698-0.02962.363990.05066 0.5011-0.03754.499980.226
8、8 0.7319-0.02944.709370.00431 0.8812-0.01573.13958-0.17373 0.9528-0.00681.62009-0.1883 0.9821-0.00260.73879-0.14627 XY 得新的优化点 : 反复迭代 (4) 改良高斯牛顿法(Levenberg-Marquardt) 这是梯度法和高斯-牛顿法相结合的一种方法 。 A 很可能是奇异的, 需对此阵进行调整: 作用: 一可解决A阵奇异,无法求解之困; 二是A阵对角线元素包含了较大的与求解相 关的信息量,加快趋于全局优的进程。 (5) 极大似然法(maximum likelihood)。
9、大多数著名的统计软件如 SAS, Matlab, Sigmaplot等包含了基于这些算法的非线 性方程拟合模块。 3)上述通用算法存在的问题: (1) 需提供方程的导数或偏导数; (2) 需提供合适的初值; (3) 一般难于实现全局最优拟合。 最后一点往往是最主要、最致命的缺陷。 4)曲线、曲面拟合新算法 (Contraction- Expansion Algorithm) CE算法包含三个基本步骤: (1) 收缩步,缩小步长的搜索过程; (2) 扩张步,扩大步长的搜索过程; (3)调整步,中心点、临界值的重新调整。 (1) 收缩步 (2) 扩张步 (3) 中心点和步长的确定 全局最优拟合的能
10、力和效率很大程度上取决于初 始点和步长,初始步长一般总不是很合适的,必须由 寻优过程的信息反馈调整。记录在寻优搜索过程中的 度点(即满足一定要求的参数点)的数量和位置,算 出它们平均数和标准差(Sj为bj的二阶原点矩): (4) 调整临界值C 若 C 很小,产生的度点数量太少,若 C 很大,产 生的度点数量太多,这些情形都将使算法的能力和 效率受损。临界值 C 必须有反馈调节机制。若N是 每一轮次的试算节点总数,nE是扩张步一个循环( 由37个轮次组成)的度点数量,在一次循环后重新 计算临界值(包括步长)。前后两次循环(v, v+1)使 用不同的公式是为了减少循环过程波浪形C值的发生 。在mo
11、d(v,2)=0时,需将nE清零。 (5)CE 算法的主要优缺点: 不必提供导数与偏导数,利于通用程序 的编制; 无需提供适合的初值; 实现最优拟合的能力较强; 搜索效率不高,对多参数非线性问题难 于实施。 (6) 缩张算法的一些改进: 1 每一轮次的试算节点数(z)随p的增加而指数(爆 炸)式增长。5步点时,z=5p=exp(1.60944p);在3步 点时,z=3p=exp(1.09861p)。因此在p7(5步点)或 p13(3步点)时,算法负荷量已超出普通pc机的上 限(每轮次试算节点数以1m计),该法不适宜用于 参数数p15的非线性方程的拟合。在参数较多(p8) 时,只在 p 维参数空
12、间中均匀随机布点,试算节点数 在基础条件下随p的增加而呈多项式(二次式)增长 (z=300+25*p2),这比指数式增长大为减少,使多 参数复杂非线性问题的拟合成为可能。 2 与解析法中的改良高斯牛顿法相结合,在给 定的参数初值(或中间值)点处,利用参数微 小差量的差分方程获得方程对某一参数的近似 偏导函数值,再将各(观察值)点的偏导函数 值的乘积累加,得到近似的Jaccobi矩阵(A,或 A*)和常数阵K,再由A=K,解出=A-1K( =A*-1K),当接近 0 或RSS(Q)小于收敛标准 时结束。 f 依第j个参数bj的近似偏导数为: 是Xi及参数点 bj(0)处仅第bj 参 数具微小差值
13、时的回归值。 是bj 微小差值参数增量; bi(0) 基于数值微分基础的改良高斯-牛顿法: 当b与b(0)有差异时,应令b替代b(0)重新计算, 当接近0或小于收敛标准时结束。 构建 矩阵 4 非线性回归统计数的假设测验 Jaccobi阵A的逆阵C (C=A-1)对角线元素 为相应回归统计数标准化的方差,所谓标 准化的方差是指离回归误差方差为1时的方 差。因此,第j个回归统计数bj(与0的差异 显著性)测验可用 t 测验: 5 曲线、曲面拟合的matlab命令 b,R,J=Nlinfit(x, y,fun,b0) b, resnorm=Lsqcurvefit(fun, b0, x, y) Polyfit(x, y, n), Tool中basic fitting Nlintool(x, y, fun, b0) gnlin(X, y, b0) 6 一些实例 Thank you !