《曲线曲面拟合综述》由会员分享，可在线阅读，更多相关《曲线曲面拟合综述（35页珍藏版）》请在金锄头文库上搜索。
1、非线性回归分析 （曲线曲面拟合） 顾世梁 2011年11月 1 非线性回归分析的任务 非线性关系是最普遍的变数间量化关系，合 适的非线性回归分析对研明变数间的数量关系 有重要作用。非线性回归分析的广泛应用，将 促使试验研究从定性向定量发展，由粗放向精 细发展。线性关系形式单一，而非线性关系多 种多样，选择合适的非线性模型并非易事。多 项式也是一种（简单的一种）非线性关系，先 前已有论述，本章仅讨论多项式以外的纯非线 性关系。对于纯非线性回归分析，非线性回归 统计数的估计、假设测验等均有很大难度。 非线性回归分析的主要任务有下列4项： 1) 建立合适的非线性模型； 2) 估计非线性方程的统计数曲
2、线曲面 拟合； 3) 合理的显著性测验； 4) 方程的进一步利用（插值与外推）。 2 非线性回归方程的选择 主要有3种方法： 1）解微分和偏微分方程组 dsolve(Dy+y+c,) y=dsolve(Dy-b*y+c*y2,y(0)=k/(1+a) syms c b k; y=subs(y,c b/k); pretty(y) 2）根据机理或基本数量关系推导 每一种函数关系都有一些基本特点，可以根据 这些基本要素确定不同的方程。这些基本要素如 零点(初值点)、峰值点（极大、极小）、拐点、 渐近点等，应符合数据事实。 3) 试算、比较与选择 当变数间的可能关系所知甚少，可对不同方程进 行试拟合，
3、比较分析后选出最佳关系模型。除了前 述的关键点数据应与曲线、曲面有好的吻合外，也 应保证数据在前、中、后段都能较好地拟合；另外 也应保证较高的拟合度（决定系数）、较小的离回 归平方和以及较好的插值和外推。 通常，较少参数的曲线刚性有余、柔性不足，而 参数较多的方程有较大的柔性。但参数太多往往会 过参数化（over-parameterization），拟合的难度大 大增加。 3 参数估计 目标函数： 当给定Xi 与 Yi (i=1,2,n)时，Q 也是b的 函数： Q=F(b)。 拟合即为寻找opt=min(F(b)的过程。发 展稳定高效实现全局最优拟合的算法是非 线性回归的关键，难度较大。 1
4、）线性化法 对一些简单的方程，我们可以采用数据转换 的方式将其化成线性方程，然后用一元或多元 线性回归的方式进行分析。如： 其缺陷是该类方法仅适用于简单的方程，而绝大 多数纯非线性方程较复杂，不能用线性化方法进行 参数估计。 2）一些通用方法 梯度法(快速登山法, Gradient)； 给定某一起始参数点 ： 若 =0, bj 在该点前后的变化不会使Q变化 0, bj 在该点的增加将使Q变大 令 0 朝着使Q减小的方向 因而 一个实例：b0=3，20，0.5 XYf0Y-f0df/dKdf/dadf/db 20.300.35896-0.058960.11965-0.01580.63201 40
5、.860.809340.050660.26978-0.029552.36399 61.731.503200.226800.50107-0.03754.49998 82.202.195690.004310.73190-0.029434.70937 102.472.64373-0.173730.88124-0.01573.13958 122.672.85830-0.188300.95277-0.006751.62009 142.802.94627-0.146270.98209-0.002640.73879 -.35275-4.813e-3.16480 (2) 高斯法(Gauss)； (3) 高斯-
6、牛顿法(Gauss-Newton)； 以新的b值再运行前述过程，反复迭代， 直至delta趋于0，或Q已不再变小。 f 按多元Taylor级数展开（略去二次及二次以上各项）： 则目标函数可以转化为: 令 得新的优化点: 当b与b(0)有差异时， 应令b替代b(0)重新计算 由 =0，或Q的前后 差异小于某一定值 。 一个实例：b0=3，20，0.5 XYf0Y-f0df/dKdf/dadf/db 20.300.35896-0.058960.11965-0.01580.63201 40.860.809340.050660.26978-0.029552.36399 61.731.503200.22
7、6800.50107-0.03754.49998 82.202.195690.004310.73190-0.029434.70937 102.472.64373-0.173730.88124-0.01573.13958 122.672.85830-0.188300.95277-0.006751.62009 142.802.94627-0.146270.98209-0.002640.73879 df/dKdf/dadf/dbY-f0 0.1197-0.01580.63201-0.05896 0.2698-0.02962.363990.05066 0.5011-0.03754.499980.226
8、8 0.7319-0.02944.709370.00431 0.8812-0.01573.13958-0.17373 0.9528-0.00681.62009-0.1883 0.9821-0.00260.73879-0.14627 XY 得新的优化点 : 反复迭代 (4) 改良高斯牛顿法(Levenberg-Marquardt) 这是梯度法和高斯-牛顿法相结合的一种方法 。 A 很可能是奇异的， 需对此阵进行调整: 作用: 一可解决A阵奇异，无法求解之困； 二是A阵对角线元素包含了较大的与求解相 关的信息量，加快趋于全局优的进程。 (5) 极大似然法(maximum likelihood)。
9、大多数著名的统计软件如 SAS, Matlab, Sigmaplot等包含了基于这些算法的非线 性方程拟合模块。 3）上述通用算法存在的问题： (1) 需提供方程的导数或偏导数； (2) 需提供合适的初值； (3) 一般难于实现全局最优拟合。 最后一点往往是最主要、最致命的缺陷。 4）曲线、曲面拟合新算法 (Contraction- Expansion Algorithm) CE算法包含三个基本步骤： (1) 收缩步，缩小步长的搜索过程； (2) 扩张步，扩大步长的搜索过程； (3)调整步，中心点、临界值的重新调整。 (1) 收缩步 (2) 扩张步 (3) 中心点和步长的确定 全局最优拟合的能
10、力和效率很大程度上取决于初 始点和步长，初始步长一般总不是很合适的，必须由 寻优过程的信息反馈调整。记录在寻优搜索过程中的 度点（即满足一定要求的参数点）的数量和位置，算 出它们平均数和标准差（Sj为bj的二阶原点矩）： (4) 调整临界值C 若 C 很小，产生的度点数量太少，若 C 很大，产 生的度点数量太多，这些情形都将使算法的能力和 效率受损。临界值 C 必须有反馈调节机制。若N是 每一轮次的试算节点总数，nE是扩张步一个循环（ 由37个轮次组成）的度点数量，在一次循环后重新 计算临界值（包括步长）。前后两次循环(v, v+1)使 用不同的公式是为了减少循环过程波浪形C值的发生 。在mo
11、d(v,2)=0时，需将nE清零。 （5）CE 算法的主要优缺点： 不必提供导数与偏导数，利于通用程序 的编制； 无需提供适合的初值； 实现最优拟合的能力较强； 搜索效率不高，对多参数非线性问题难 于实施。 (6) 缩张算法的一些改进： 1 每一轮次的试算节点数(z)随p的增加而指数（爆 炸）式增长。5步点时，z=5p=exp(1.60944p)；在3步 点时，z=3p=exp(1.09861p)。因此在p7（5步点）或 p13（3步点）时，算法负荷量已超出普通pc机的上 限（每轮次试算节点数以1m计），该法不适宜用于 参数数p15的非线性方程的拟合。在参数较多(p8) 时，只在 p 维参数空
12、间中均匀随机布点，试算节点数 在基础条件下随p的增加而呈多项式（二次式）增长 （z=300+25*p2），这比指数式增长大为减少，使多 参数复杂非线性问题的拟合成为可能。 2 与解析法中的改良高斯牛顿法相结合，在给 定的参数初值（或中间值）点处，利用参数微 小差量的差分方程获得方程对某一参数的近似 偏导函数值，再将各（观察值）点的偏导函数 值的乘积累加，得到近似的Jaccobi矩阵(A，或 A*)和常数阵K，再由A=K，解出=A-1K（ =A*-1K），当接近 0 或RSS(Q)小于收敛标准 时结束。 f 依第j个参数bj的近似偏导数为： 是Xi及参数点 bj(0)处仅第bj 参 数具微小差值
13、时的回归值。 是bj 微小差值参数增量； bi(0) 基于数值微分基础的改良高斯-牛顿法： 当b与b(0)有差异时，应令b替代b(0)重新计算， 当接近0或小于收敛标准时结束。 构建 矩阵 4 非线性回归统计数的假设测验 Jaccobi阵A的逆阵C (C=A-1)对角线元素 为相应回归统计数标准化的方差，所谓标 准化的方差是指离回归误差方差为1时的方 差。因此，第j个回归统计数bj（与0的差异 显著性）测验可用 t 测验： 5 曲线、曲面拟合的matlab命令 b,R,J=Nlinfit(x, y,fun,b0) b, resnorm=Lsqcurvefit(fun, b0, x, y) Polyfit(x, y, n)， Tool中basic fitting Nlintool(x, y, fun, b0) gnlin(X, y, b0) 6 一些实例 Thank you !
