《第三章 2最小二乘》由会员分享，可在线阅读，更多相关《第三章 2最小二乘（43页珍藏版）》请在金锄头文库上搜索。
1、,3.1 问题的提出函数解析式未知,通过实验观测得到的一组数据, 即在某个区间a, b上给出一系列点的函数值 yi= f(xi)或者给出函数表,y=f(x),y=p(x),第三章 曲线拟合的最小二乘法,3.2. 曲线拟合的最小二乘法 如果已知函数f(x)在若干点xi(i=1,2,n)处的值yi,便可根据插值原理来建立插值多项式作为f(x)的近似。但在科学实验和生产实践中，往往会遇到这样一种情况，即节点上的函数值并不是很精确的，这些函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点(xi,yi),就会使曲线保留着一切测试误差。当个别数据的误差
2、较大时,插值效果显然是不理想的。此外,由实验或观测提供的数据个数往往很多,如果用插值法,势必得到次数较高的插值多项式，这样计算起来很烦琐。,为此,我们希望从给定的数据(xi,yi)出发,构造一个近似函数 ,不要求函数 完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势，如图3.1所示。,图3.1曲线拟合示意图,换句话说:求一条曲线,使数据点均在离此曲线的上方或下方不远处,所求的曲线称为拟合曲线,它既能反映数据的总体分布,又不至于出现局部较大的波动,更能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小,这就是最小二乘法。,与函数插值问题不同,曲
3、线拟合不要求曲线通过所有已知点,而是要求得到的近似函数能反映数据的基本关系。在某种意义上,曲线拟合更有实用价值。 在对给出的实验(或观测)数据作曲线拟合时,怎样才算拟合得最好呢？一般希望各实验(或观测)数据与拟合曲线的偏差的平方和最小,这就是最小二乘原理。 两种逼近概念: 插值: 在节点处函数值相同. 拟合: 在数据点处误差平方和最小,函数插值是插值函数P(x)与被插函数f(x)在节点处函数值相同,即 而曲线拟合函数 不要求严格地通过所有数据点 ,也就是说拟合函数 在xi处的偏差(亦称残差） 不都严格地等于零。但是,为了使近似曲线能尽量反映所给数据点的变化趋势,要求 按某种度量标准最小。若记向
4、量 ,即要求向量 的某种范数 最小,如 的1-范数 或-范数即,或,最小。为了便于计算、分析与应用， 通常要求的2-范数,即,为最小。这种要求误差（偏差）平方和最小的拟合称为曲线拟合的最小二乘法。,（1）直线拟合设已知数据点 ,分布大致为一条直线。作拟合直线 ,该直线不是通过所有的数据点 ,而是使偏差平方和,为最小，其中每组数据与拟合曲线的偏差为根据最小二乘原理，应取 和 使 有极小值，故 和 应满足下列条件：,即得如下正规方程组,(3.1),例3.21 设有某实验数据如下： 1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963,用最小
5、二乘法求以上数据的拟合函数 解:把表中所给数据画在坐标纸上,将会看到数据点的分布可以用一条直线来近似地描述,设所求的,拟合直线为 记x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963则正规方程组为,其中,将以上数据代入上式正规方程组,得,解得,即得拟合直线,（2）多项式拟合 有时所给数据点的分布并不一定近似地呈一条直线,这时仍用直线拟合显然是不合适的,可用多项式拟合。对于给定的一组数据寻求次数不超过n (nm ) 的多项式，,来拟合所给定的数据，与线性拟合类似，使偏差的平方和,为最小
6、,由于Q可以看作是关于 ( j=0,1,2, n)的多元函数, 故上述拟合多项式的构造问题可归结为多元函数的极值问题。令,得,即有,这是关于系数 的线性方程组，通常称为正规方程组。可以证明，正规方程组有惟一解。,例3.22 设某实验数据如下： 1 2 3 4 5 6 0 1 2 3 4 5 5 2 1 1 2 3,用最小二乘法求一个多项式拟合这组数据,(3.2),解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为,由法方程组（3.2）, 经计算得,m=6,其法方程组为,解之得,所求的多项式为,（3）一般曲线拟合的 最小二乘法的求法,（4）可化为线性拟合的非线性拟
7、合 有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理，对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点的分布同哪类曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。 表3-4列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系,表3-4,曲线拟合方程 变换关系 变换后线性拟合方程,几种常见的数据拟合情况。图 ( a ) 表示数据接近于直线，故宜采用线性函数 拟合；图(b)数据分布接近于抛物线。可采拟合；二次多项式,拟合；,(a),(b),
8、图 ( c ) 的数据分布特点是开始曲线上升较快随后逐渐变慢,宜采用双曲线型函数 或指数型函数 图 ( d ) 的数据分布特点是开始曲线下降快,随后逐渐变慢,宜采用 或 或 等数据拟合。,( c ),( d ),例3.13 设某实验数据如下: 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3,用最小二乘法求拟合曲线,解:将已给数据点描在坐标系中下图所示,可以看出这些点接近指数曲线,因而可取指数函数作为拟合函数.对函数两边取对数得. 令 得 则就得到线性模型,则正规方程组为,其中,将以上数据代入上式正规方程组，得,解得,由 得,由 得,于
9、是得到拟合指数函数为,（5）超定方程组的最小二乘解设线性方程组Ax=b中， ,b是m维已知向量，x是n维解向量，当mn，即方程组中方程的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时为矛盾方程组),这时需要寻求方程组的一个“最近似”的解.记 ,称使 ,即 最小的解 为方程组Ax=b的最小二乘解。,定理 是Ax=b的最小二乘解的充分必要条件为 是 的解.证明:充分性 若存在n维向量 ,使 任取一n维向量 ,令 ,则 ,且,所以 是Ax=b的最小二乘解。,必要性:r的第i个分量为, ,记,由多元函数求极值的必要条件，可得,即,由线性代数知识知,上式写成矩阵形式为,它
10、是关于的线性方程组,也就是我们所说的正规方程组或法方程组。可以证明如果A是列满秩的,则方程组（5.48）存在惟一解,（5.48）,例3.24 求超定方程组,的最小二乘解,并求误差平方和。,解:方程组写成矩阵形式为,正规方程组为,即,解得,此时,误差平方和为,我们已经讨论了最小二乘意义下的曲线拟合问题,由于方程比较简单,实际中应用广泛,特别是因为任何连续函数至少在一个较小的邻域内可以用多项式任意逼近,因此用多项式作数据拟合,有它的特殊重要性。从而在许多实际问题中,不论具体函数关系如何,都可用多项式作近似拟合,但用多项式拟合时,当n较大时(n7),其法方程的系数矩阵的条件数一般较大,所以往往是病态
11、的,因而给求解工作带来了困难。,这组基函数就称为点集 上的正交函数集。这种情况下法方程组的系数矩阵是对角阵，显然容易求解。关于正交函数下面作简单介绍,近年来,产生一些直接解线性最小二乘问题的新方法，例如正交三角化方法。另外,如果能选取基函数 使得 时,正交多项式 在高等数学中介绍付立叶级数时，曾提到函数系 1,cosx,sinx,cos2x,sin2x,cosnx,sinnx,中，由于任意两个函数乘积在区间-，+上的积分都等于零，则说这个函数系在-，+上是正交的，并称这个函数系为正交函数系。下面给出正交函数系定义：设函数f(x),g(x)a,b,且则称f(x)与g(x)在a,b上带权(x)正交
12、,在a,b上连续的函数0(x), 1(x), 2(x),. k(x)., 满足 则称该函数系是在区间a,b上带权(x)正交函数系.下面介绍与上述定义有关的几个概念，然后引出正交多项的概念，最后再介绍正交多项式的性质以及几种常见的正交多项式。1.权函数:(1)设a,b是有限或无限区间, (x)是定义在a,b上的非零可积函数，若其满足则称(x)是a,b上的一个权函数。,2 内积与范数设f(x),g(x)a,b, (x)是a,b上的一个权函数，称为f(x)与g(x)在为 a,b上以权函数(x)的内积。显然，对于任意实数a,b,有称为f(x)的带权(x)的2范数。,正交多项式的性质定理1 a,b上带权(x)的正交多项式系gn(x)一定是a,b上线性无关的函数系。定理2 设是gn(x)a,b上带权(x)的正交多项式系，则对于任何次数不高于n-1的多项式q(x),总有 (q(x), gn(x)=0 ( n=1,2,） 定理3 n次正交多项式gn(x)有n个互异定根，且全部若在(a,b)内。,
