《科学计算与数学建模第三章》由会员分享，可在线阅读，更多相关《科学计算与数学建模第三章（49页珍藏版）》请在金锄头文库上搜索。
1、1,计算方法电子教案,中南大学 数学科学学院 应用数学与应用软件系,2,第三章 曲线拟合的最小二乘法 1 引 言 2 什么是最小二乘法3 最小二乘解的求法 4 加权最小二乘法 5 利用正交函数作最小二乘拟合,3,第三章 曲线拟合的最小二乘法 1 引 言在科学实验和生产实践中，经常要从一组实验数据 出发，寻求函数y = f(x)的一个近似表达式y=（x）（称为经验公式）。从几何上，就是希望根据给出的m个点 ，求曲线 y = f(x) 的一条近似曲线 y=（x）。因此，这是一个曲线拟合的问题。多项式插值虽然在一定程度上解决了由函数表求函数的近似表达式问题，但用它来解决这里提出的问题，有明显缺陷。首
2、先，实验提供的数据通常带有测试误差。如要求近似曲线y=（x）严格地通过所给的每个数据点 ，就会使曲线保持原有的测试误差。当个别数据的误差较大时，插值效果显然是不理想的。其次，由实验提供的数据往往较多（即m较大），用插值法得到的近似表达式，明显地缺乏实用价值。,4,因此，怎样从给定的一组数据出发，在某个函数类中寻求一个“最好”的函数（x）来拟合这组数据，是一个值得讨论的问题。随着拟合效果“好”、“坏”标准的不同，解决此类问题的方法也不同。这里介绍一种最常用的曲线拟合方法，即最小二乘法。 2 什么是最小二乘法如前所述，在一般情况下，我们不能要求近似曲线 y=f（x）严格地通过所有数据点 ，亦即不能
3、要求所有拟合曲线函数在 xi 处的偏差（亦称残差）都严格地趋于零。但是，为了使近似曲线尽量反映所给数据点的变化趋势，要求i都较小还是需要的。达到这一目标的途径很多，常见的有： (1)选取（x），使偏差绝对值之和最小，即,(2.1),5,(2) 选取（x），使偏差最大绝对值最小，即(2.2)(3)选取（x），使偏差平方和最小，即(2.3)为了方便计算、分析与应用，我们较多地根据“偏差平方和最小”的原则（称为最小二乘原则）来选取拟合曲线y=（x）按最小二乘原则选择拟合曲线的方法，称为 最小二乘法。本章要着重讨论的线性最小二乘问题，其基本提法是：对于给定数据表x x1 x2 xm y y1 y2 y
4、m,6,要求在某个函数类 （其中nm）中寻求一个函数(2.4)使*(x)满足条件(2.5) 式中 是函数类 中任一函数。满足关系式（2.5）的函数 ，称为上述最小二乘问题的最小二乘解 。由上可知，用最小二乘法解决实际问题包含两个基本环节：先根据所给数据点的变化趋势与问题的实际背景确定函数类 ,即确定 所具有的形式；然后按最小二乘法原则（2.3）求取最小二乘解 ，即确定其系数 。,7, 3 最小二乘解的求法 由最小二乘解（2.4）应满足条件（2.5）知，点 是多元函数的极小点，从而 满足方程组 即,8,亦即若对任意的函数h(x)和g(x) ，引入记号则上述方程组可以表示成写成矩阵形式即,(3.1
5、),(3.2),9,方程组(3.2)称为法方程组。当 线性无关时，可以证明它有唯一解并且相应的函数(2.4)就是满足条件(2.5)的最小二乘解。综上分析可得定理1 对任意给定的一组实验数据 (其中 互异),在函数类 ( 线性无关）中,存在唯一的函数使得关系式(2.5)成立，并且其系数 可以通过解方程组(3.2)得到。作为曲线拟合的一种常用的情况，若讨论的是代数多项式拟合，即取则由(3.1)知,10,故相应的法方程组为下面，通过两个具体的例子来说明用最小二乘法解决实际的问题的具体步骤与某些技巧 。,(3.3),11,例 1 某种铝合金的含铝量为 ，其熔解温度为 c，由实验测得 与的数据如表3-1
6、左边三列。使用最小二乘法建立 与 之间的经验公式。 解 根据前面的讨论，解决问题的过程如下： （1） 将表中给出的数据点 描绘在坐标纸上，如图3-1所示。 （2） 确定拟合曲线的形式。由图3-1可以看出，六个点位于一条直线的附近，故可以选用线性函数（直线）来拟合这组实验数据，即令,12,其中a,b为待定常数。（3） 建立法方程组。由于问题归结为一次多项式拟合问题， 故由(3.3)知，相应的法方程组形如经过计算（表3-1）即得确定待定系数a，b的法方程组（4）解法方程(3.5)得 a=95.3524 , b=2.2337代入(3.4)即得经验公式y=95.3524+2.2337x,(3.4),(
7、3.5),(3.6),13,表 3-1,14,所得经验公式能否较好地反映客观规律,还需通过实践来检验.由(3.6)式算出的函数值(称为拟合值)与实际值有一定的偏差。由表3-2可以看出，偏差的平方和 ，其平方根（称为均方误差） 在一定程度上反映了所得经验公式的好坏。同时，由表3-2还可以看出，最大偏差 . 如果认为这样的误差都允许的话，就可以用经验公式(3.6)来计算含铝量在36.987.5%之间的溶解度。否则，就要用改变函数类型或者增加实验数据等方法来建立新的经验公式。例 2 在某化学放应里，测得生成物的浓度y%与时间t的数据表见表3-3，是用最小二乘法建立t与y的经验公式 。 解 将已知数据
8、点 描述在坐标纸上，见图3-2。由图3-2及问题的物理背景可以看出，拟合曲线 应具下列特点：,15,表 3-2,16,表 3-3,（1） 曲线随着t的增加而上升，但上升速度由快到慢。,y,10,5,0,4,8,12,t,16,图 3-2,17,（2）当t=0时，反应还未开始，即y=0; 当 时，y趋于某一常数.故曲线应通过原点(或者当t=0时以原点为极限点)，且有一条水平渐近线。具有上述特点的曲线很多。选用不同的数学模型，可以获得不同的拟合曲线与经验公式。下面提供两种方案:方案1: 设想 是双曲线型的，并且具有下面的形式(3.7)此时，若直接按最小二乘法原则去确定参数a和b , 则问题归结为求
9、二元函数的极小点，这将导致求解非线性方程组:,(3.8),18,给计算带来了麻烦。可通过变量替换来将它转化为关于待定参数的线.性形函数。为此，将(3.7)改写成于是，若引入新变量则(3.7)式就是,19,同时，由题中所给数据 表3-3可以算出新的数据表表3-4这样，问题就归结为：根据数据表3-4，求形如 的最小二乘解.参照例1的做法，解方程组,表 3-4,20,既得a=80.6621, b=161.6822代入(3.7) ,既得经验公式(3.9)方案2： 设想 具有指数形式为了求参数a和b 时，避免求解一个非线形方程组，对上式两边取对数此时，若引入新变量并记A= lna,B=b,则上式就是,(
10、3.10),21,又由数 表3-3可算出新的数据表3-5。表 3-5于是将问题归为：根据数据表3-5，求形如 的最小二乘解。 参照方案1，写出相应的法方程组并解之，即得 A=-4.4807，B=-1.0567 于是,22,故得另一个经验公式将两个不同的经验公式 (3.9)和(3.11) 进行比较（表3-6），从均方误差与最大偏差这两个不同角度看，后者均优于前者。因此，在解决实际问题时，常常要经过反复分析，多次选择，计算与比较，才能获得好的数学模型。表 3-6下面以常用的多项式拟合为例，说明最小二乘法在电子计算机上实现的步骤。,(3.11),23,设有一组实验数据 ，今要用最小二乘法求 一 n(
11、nm)次多项式曲线来拟合这组数据。显然，求 的实质就是要确定其系数 。由前面讨论可知，问题可归结为建立和求解法方程组(3.3). 为了 便于编制程序并减少工作量，引入矩阵则法方程组(3.3)的系数矩阵（用A表示）和右端向量（用b表示）分别 为:,24,相应的程序框图如图3-3所示,其中中间矩阵C的生成方法见图3-4。,图(3-3),25,图 3-4,26,4 加权最小二乘法,在实际问题中测得的所有实验数据，并不是总是等精度, 等地位的。 显然，对于精度较高或地位较重要（这应根据具体情况来判定）的那些数据 ，应当给予较大的权。在这种情况下，求给定数据的拟合曲线，就要采用加权最小二乘法。,用加权最
12、小二乘法进行曲线拟合的要求与原则：对于给定的一组实验数据,27,要求在某个函数类,中，寻求一个函数,使,28,其中,为函数类 中任一函数；,是一列正数，称为权，它的大小反映了数据 地位的强弱。显然，求 的问题可归结为求多元函数,29,的极小点 。采用3类似的方法，仍可得法方程组（3.2）,，但其中,作为特例，如果选用的拟合曲线为,30,那么相应的法方程组为,(4.1),31,例3 已知一组实验数据 及权 如表3-7。若x 与 y 之间有线性关系,，试用最小二乘法确定系数 a和b。,表3-7,32,解 因为拟合曲线为一次多项式曲线（直线） , 故相应的法方程组如（4.1）。将表中各已知数据代入即得方程组,解之得,33,5 利用正交函数作最小二乘法拟合,在前几节虽然从原则上解决了最小二乘意义下的曲线拟合问题，但在实际计算中，由于当n较大，例如n7，法方程组往往是病态的，因而给求解工作带来了一定困难。近年来，产生了许多解决这一困难的新方法。本节将简要介绍利用正交函数作最小二乘拟合的基本原理，以及利用正交多项式拟合的一种行之有效的方法。,
