5.曲线拟合-最小二乘法课件

《5.曲线拟合-最小二乘法课件》由会员分享，可在线阅读，更多相关《5.曲线拟合-最小二乘法课件（30页珍藏版）》请在金锄头文库上搜索。

1、曲线拟合曲线拟合曲线拟合问题仍然是已知仍然是已知x1xn;y1yn,求一个简单易求一个简单易算的近似函数算的近似函数f(x)来拟合这些数据来拟合这些数据。但是但是 n 很大；很大；yi 本身是测量值，不准确，即本身是测量值，不准确，即yi f (xi)这时没必要取这时没必要取f(xi)=yi,而要使而要使 i=f(xi) yi 总体上总体上尽可能地小。尽可能地小。这种构造近似函数这种构造近似函数的方法称为的方法称为曲线拟合，f(x)称为称为拟合函数拟合函数称为称为“残差残差”y=f(x)y=p(x)xx0x1x2xnyy0y1y2yn插值求一条曲线,使数据点均在离此曲线的上方或下方不远处,所求

2、的曲线称为拟合曲线,它既能反映数据的总体分布,又不至于出现局部较大的波动,更能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。 拟合 与函数插值问题不同,曲线拟合不要求曲线通过所有已知点,而是要求得到的近似函数能反映数据的基本关系。在某种意义上,曲线拟合更有实用价值。两种逼近概念: 插值: 在节点处函数值相同. 拟合: 在数据点处误差平方和最小在对给出的实验(或观测)数据作曲线拟合时,怎样才算拟合得最好呢？ 常见做法：常见做法：u使使最小最小较复杂，较复杂，u使使最最小小不可导，求解困难不可导，求解困难u使使最小最小“使使 i=P(xi) yi 尽可能

3、地小尽可能地小”有不同的准则有不同的准则曲线拟合的最小二乘法曲线拟合的最小二乘法一、拟合问题的提出及其最小二乘法一、拟合问题的提出及其最小二乘法7例 某物质的溶解度y和温度x的关系经测定满足下面数据表，试建立该问题的数学模型.将(x, y)的数据点描在一坐标纸上，则如下图所示.8y与x近似成抛物线关系，数据点分布在一抛物线的两侧.从图中可见，因此，可以猜测即有其中 是待定常数，这就是本问题的数学模型.9确定了问题的数学模型后，中的待定常数. 还需求出不妨假设与待定常数呈线性关系，即 这里是线性无关函数系，为待定常数. 10在例1中，设函数 误差为 我们希望猜想的数学模型应尽量接近观测数据，即使

4、得误差带权平方和越小越好. 根根据据最最小小二二乘乘原原理理，应应取取 和和 使使 有有极极小小值值，故故 和和 应满足下列条件：应满足下列条件：（1）直线拟合直线拟合设设已已知知数数据据点点 , ,分分布布大大致致为为一一条条直直线线。作作拟拟合合直直线线 , ,该该直直线线不不是是通通过所有的数据点过所有的数据点 , ,而是使偏差平方和而是使偏差平方和为最小。为最小。即得如下方程组即得如下方程组例例 设有某实验数据如下：设有某实验数据如下： 1 2 1 2 3 43 4 1.36 1.37 1.36 1.37 1.95 2.281.95 2.28 14.094 16.844 14.094

5、16.844 18.475 20.96318.475 20.963 用最小二乘法求以上数据的拟合函数用最小二乘法求以上数据的拟合函数 解解: :把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上, ,将会看到数据点将会看到数据点的分布可以用一条直线来近似地描述的分布可以用一条直线来近似地描述, ,设所求的设所求的 拟合直线为拟合直线为 记x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963则正规方程组为则正规方程组为 其中其中 将以上数据代入上式正规方程组将以上数据代入上式正规方程组

6、, ,得得解得解得即得拟合直线即得拟合直线 （2 2）多项式拟合）多项式拟合 有有时时所所给给数数据据点点的的分分布布并并不不一一定定近近似似地地呈呈一一条条直直线线, ,这这时时仍仍用用直直线线拟拟合合显显然然是是不不合合适适的的, ,可可用用多多项项式拟合。对于给定的一组数据式拟合。对于给定的一组数据寻求次数不超过寻求次数不超过n (nm ) n (nm ) 的多项式，的多项式， 来拟合所给定的数据，与线性拟合类似，使偏差的来拟合所给定的数据，与线性拟合类似，使偏差的平方和平方和为最小为最小由由于于Q Q可可以以看看作作是是关关于于 ( ( j=0,1,2,j=0,1,2, , n)n)的

7、的多多元元函函数数, , 故故上上述述拟拟合合多多项项式式的的构构造造问问题题可可归结为多元函数的极值问题。令归结为多元函数的极值问题。令得得即有即有这是关于系数这是关于系数 的线性方程组，通常称为正的线性方程组，通常称为正规方程组。可以证明，正规方程组有惟一解。规方程组。可以证明，正规方程组有惟一解。例例 设某实验数据如下：设某实验数据如下： 1 2 3 1 2 3 4 5 64 5 6 0 1 2 0 1 2 3 4 53 4 5 5 2 1 5 2 1 1 2 31 2 3用最小二乘法求一个多项式拟合这组数据用最小二乘法求一个多项式拟合这组数据 解：将已给数据点描在坐标系中，可以解：将已

8、给数据点描在坐标系中，可以看出这些点看出这些点 接近一条抛物线，因此设所求的多项式为接近一条抛物线，因此设所求的多项式为由法方程组（由法方程组（3.23.2）, , 经计算得经计算得 m=6,其法方程组为其法方程组为 解之得解之得所求的多项式为所求的多项式为几种常见的数据拟合情况。图几种常见的数据拟合情况。图(a)表示数据接近表示数据接近于直线，故宜采用线性函数于直线，故宜采用线性函数 拟合；图拟合；图( (b)b)数据分布接近于抛物线。可采数据分布接近于抛物线。可采拟合；拟合；二次多项二次多项式式 拟合；拟合； ( (a)a)( (b)b)图图 ( ( c ) c ) 的数据分布特点是开始曲

9、线上升较快随后逐的数据分布特点是开始曲线上升较快随后逐渐变慢渐变慢, ,宜采用双曲线型函数宜采用双曲线型函数 或指数型函或指数型函数数 图图 ( ( d ) d ) 的数据分布特点是开始曲线下降的数据分布特点是开始曲线下降快快, ,随后逐渐变慢随后逐渐变慢, ,宜采用宜采用 或或 或或 等数据拟合。等数据拟合。(c)(d)例例3.13 3.13 设某实验数据如下设某实验数据如下: : 1 2 3 1 2 3 4 5 64 5 6 0 0.5 1 0 0.5 1 1.5 2 2.51.5 2 2.5 2.0 1.0 0.9 2.0 1.0 0.9 0.6 0.4 0.30.6 0.4 0.3用最

10、小二乘法求拟合曲线用最小二乘法求拟合曲线 解解: :将已给数据点描在坐标系中下图所示将已给数据点描在坐标系中下图所示, ,可以看出这可以看出这些点接近指数曲线些点接近指数曲线, ,因而可取指数函数因而可取指数函数作为拟合函数作为拟合函数. .对函数对函数两边取对数得两边取对数得. . 令令 得得 则就得到线性模型则就得到线性模型 则正规方程组为则正规方程组为其中其中将以上数据代入上式正规方程组，得将以上数据代入上式正规方程组，得解得解得由由 得得由由 得得于是得到拟合指数函数为于是得到拟合指数函数为 （4）超定方程组的最小二乘解超定方程组的最小二乘解设线性方程组设线性方程组Ax=bAx=b中，

11、中， , ,b b是是m m维已知向维已知向量，量，x x是是n n维解向量，当维解向量，当m mn n，即方程组中方程即方程组中方程的个数多于未知量的个数时，称此方程组为超的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时定方程组。一般来说，超定方程组无解（此时为矛盾方程组为矛盾方程组),),这时需要寻求方程组的一个这时需要寻求方程组的一个“最近似最近似”的解的解. .记记 , ,称使称使 , ,即即 最小的解最小的解 为为方程组方程组Ax=bAx=b的最小二乘解。的最小二乘解。定理定理 是是Ax=bAx=b的最小二乘解的充分必要条件为的最小二乘解的充分必要条件

12、为 是是 的解的解. .证明证明: :充分性充分性若存在若存在n维向量维向量 , ,使使 任取一任取一n维向量维向量 , ,令令 , ,则则且且所以所以 是是Ax=bAx=b的最小二乘解。的最小二乘解。必要性必要性: :r r的第的第i i个分量为个分量为, , , ,记记由多元函数求极值的必要条件，可得由多元函数求极值的必要条件，可得即即 由线性代数知识知由线性代数知识知, ,上式写成矩阵形式为上式写成矩阵形式为 它是关于的线性方程组它是关于的线性方程组, ,也就是我们所说的正规方程也就是我们所说的正规方程组或法方程组。可以证明如果组或法方程组。可以证明如果A A是列满秩的是列满秩的, ,则

13、方程则方程组（组（5.485.48）存在惟一解）存在惟一解 例例求超定方程组求超定方程组的最小二乘解的最小二乘解,并求并求误差平方和。误差平方和。解解:方程组写成矩阵形式为方程组写成矩阵形式为正规方程组为正规方程组为即即解得解得 此时此时 误差平方和为误差平方和为 我们已经讨论了最小二乘意义下的曲线拟合我们已经讨论了最小二乘意义下的曲线拟合问题问题, ,由于方程比较简单由于方程比较简单, ,实际中应用广泛实际中应用广泛, ,特别是特别是因为任何连续函数至少在一个较小的邻域内可以因为任何连续函数至少在一个较小的邻域内可以用多项式任意逼近用多项式任意逼近, ,因此用多项式作数据拟合因此用多项式作数据拟合, ,有有它的特殊重要性。从而在许多实际问题中它的特殊重要性。从而在许多实际问题中, ,不论具不论具体函数关系如何体函数关系如何, ,都可用多项式作近似拟合都可用多项式作近似拟合, ,但用但用多项式拟合时多项式拟合时, ,当当n n较大时较大时( (n n7),7),其法方程的系数其法方程的系数矩阵的条件数一般较大矩阵的条件数一般较大, ,所以往往是病态的所以往往是病态的, ,因而因而给求解工作带来了困难。给求解工作带来了困难。