《最小二乘法的综述及算例》由会员分享，可在线阅读，更多相关《最小二乘法的综述及算例（10页珍藏版）》请在金锄头文库上搜索。
1、题目：最小二乘法的综述及算例院系：航天学院自动化班级：学号：学生签名：指导教师签名：日期：2011年12月6日目录1 .综述 32 .概念33 .原理44 . 算例65 . 总名吉10参考文献10最小二乘法最早是由高斯提出的，这是数据处理的一种很有效的统计方法。高斯用这种方法解决了天文学方面的问题，特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定，原则上，只要对它的位置做 5次测量就足以确定它的整个轨迹。但由于存在测量误差，由5次测量所确定的运行轨迹极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百 次的
2、观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。最小二乘法普遍适用于各个科学领域，它在解决实际问题中发挥了重要的作用。它在生产实践、科学实验及经济活动中均有广泛应用。比如说，我们引入等效时间的概念，根据Arrhenius函数和指数函数研究水化热化学反应速率随温度的变化，最后采用最小二乘法回归分析试验数据，确定绝热温升和等效时间的关系式。为了更好地掌握最小二乘法，我们引入以下两个问题：假设已知一组二维数据(X ,yi), (i=1,2,3 n),怎样确定它的拟合曲线y=f(x)(假设为多项式形式f(x)= a0十a,x十.十anxn),使得这些点与曲线总体来说尽量接近？bx(2)若拟合
3、模型为非多项式形式y = ae ,怎样根据已知的二维数据用最小二乘线性拟合确定其系数，求出曲线拟合函数？怎样从给定的二维数据出发， 寻找一个简单合理的函数来拟合给定的一组看上去杂乱无 章的数据，正是我们要解决的问题。2.概念在科学实验的统计方法研究中，往往要从一组实验数(xi, yi) (i=1,2,3 m)中寻找自变量x与y之间的函数关系 y=F(x).由于观测数据往往不准确，此时不要求y=F(x)经过所有点(x-y),而只要求在给定 K上误差* =F ( K ) yi (i=1,2,3 一m)按某种标准 最小。若记d = h 626m)，就是要求向量6的范数最小。如果用最大范数，计算上困
4、, JIII难较大，通常就采用Euclid范数|划2作为误差度量的标准。关于最小二乘法的一般提法是：对于给定的一组数据(xi, yi) (i=0,1,m)要求在函数空间=span中0*,.* 中找一个函数S*(x),使加权的误差平方和悯I：=m_2 Z co(X1 )(S(Xi) - yi)取小，其中，缶(x。= 0是a,b上的权函数，匕表不反应数据(Xi, yi) i旦在实验中所占数据的比重。我们说，S(x)= a0cp0(x)+aQ(x)+a音n(x) (n(nm)在研究两个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后，就可以使用最小二乘法估计模型中
5、的参数，进而建立经验方程。为了通过试验数据来估计参数的值，可以采用许多统计方法，而最小二乘法是目前最常用、 最基本的。3.原理1 .最小二乘法原理简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”)，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小在我们研究两个变量 (x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1.x2, y2. xm , ym);将这些数据描绘在 x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如(式1
6、-1)。Y= a0 + a1 X (式 1-1)其中：a0、a1是任意实数为建立这直线方程就要确定a0和al,应用最小二乘法原理，将实测值 Yi与利用（式1-1）计算值（Y=a0+a1X）的离差（Yi-Y计）的平方和汇（Yi - Y计）2最小为 优 化判据令：4 =汇（YiY 计）2 （式 1-2）把（式1-1）代入（式1-2）中得：（）=汇（Y- a0 - a1 Xi）2 （ 式 1-3）当汇（Yi-Y）平方最小时，可用函数。对a0、a1求偏导数，令这两个偏导数等于零。亦即：m a0 + （ EXi ） a1 =汇丫或 1-4）（EXi ） a0 + （ 汇 Xi2 ） a1 = 汇（Xi,
7、 丫虱 1-5）得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：a0 = （ EYi） / m - a1（汇 Xi） / m （式 1-6）a1 = m EXi Yi - （EXi 汇Yi） / m汇Xi2 （汇Xi）2 ）（式 1-7）这时把a0、a1代入（式1-1）中，此时的（式1-1）就是我们回归的元线性方程即：数 学模型。在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1, y1. x2, y2.xm,ym）,为了判断关联式的好坏，可借助相关系数“ R；统计量“ F；剩余标准偏差“S进行判断；“R越趋近于1越好；“F的绝对值越大越好；“S越趋近于0越好。R
8、 = EXiYi - m （EXi / m）（ 汇Yi / m）/ SQR 汇Xi2- m （EXi / m）2汇Yi2- m （汇 Yi /m）2（式 1-10） *在（式1-1）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。从计算的角度看，最小二乘法与插值法类似，都是处理数据的算法.但从创设的思想看，二者却有本质的不同。前者寻求一条曲线，使其与观测数据“最接近”，目的是代表观测数据的趋势；后者则是使曲线严格通过给定的观测数据，其目的是通过来自函数模型的数据来近似刻画该函数.在观测数据带有测量误差的情况下，就会使得这些观测数据偏离函数曲线，结果使得与观测数据保持一致的
9、插值法不如最小二乘法得到的曲线更符合客观实际。最小二乘法公式汇（X-X 平）（Y-Y 平）=汇（XY-X 平 Y-XY 平 +X 平丫 平）=E XY-X 平 EY -Y 平汇 X+nX 平 Y平=!2XY-nX 平 Y平-nX 平丫平+nX 平丫平=!2XY-nX 平丫平汇（X -X 平）人2=汇（XY-2XX 平+X 平人2）=汇X-2nX 平 Y+nX 平人2=汇*人2-nX 平A2Y=kX+b: k= （XY ）平-X 平*丫平）/（ XA2 ）平-（X 平）A2 ） ；b=Y 平-kX 平 X 平=1/n 汇 Xi ; （XY）平=1/n 汇 XiYi2.什么时候用最小二乘法在研究两
10、个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后，就可以使用最小二乘法估计模型中的参数，进而建立经验方程.例如，在现实世界中，这样的情形大量存在着：两个变量 X和Y （比如身高和体重）彼 此有一些依赖关系，由 X可以部分地决定 Y的值，但这种关系又是不确定的 .人们常常借助统计学中的回归模型来寻找两个变量之间的关系，而模型的建立当然是依据观测数据.首先通过试验或调查获得 X和Y的一组对应关系（Xi, Y）, （X2, Y）,，（Xn, Yn）,然后回答下 列5个问题：1 .这两个变量是否有关系？（画出散点图，作直观判断）2 .这些关系是否可以近似用函数模型
11、来描述？（利用散点图、已积累的函数曲线形状 的知识和试验数据，选择适当的回归模型，如一元线性模型y=bo+bix,二次函数模型y=bo+ bix+ b2X2 等）3 .建立回归模型.4 .对模型中的参数进行估计，最小二乘法是这些参数的一种常用估计方法5 .讨论模型的拟合效果.在上述第3步中，设所建立的回归模型的一般形式是Y = f（X | 8） +名，其中Y称为响应变量，X称为解释变量或协变量；f（X | 9）是一个由参数8决定的回归函数；名是一个不可观测的随机误差.为了通过试验数据来估计参数 e的值，可以采用许多统计方法， 而最小二乘法是目前最常用、最基本的.由e的估计值4,决定的方程y =
12、 f（X | 6称为经验回归方程或经验方程.教科书中涉及的回归模型是最简单的一元线性模型Y 二 b。 biX此时模型的拟合效果可以通过 Pearson相关系数2（H） 收值-行二售一亨 V 11i-a来描述。事实上，在线性回归模型中可以证明相关指数等于相关系数的平方4.算例例题一一组测量数据（为，yi）, i=0,l,2,m,基于最小二乘原理，求得变量 x和y之间的函数关系f（X,A）,使它最佳地逼近已知数据。其中 A= （ao,ai,.,an）是一些待定参数。为了是问题的提法更有一般性，通常把最小二乘法中的|司|2都考虑为加权平方和，即2 m、2 = % (Xi)( f(Xi) - y )2
13、i 0其中，o(Xi) X0是a,b上的权函数，它表示反应数据(Xi, yi)在实验中所占数据的比重。选择参数A使得加权平方和最小，即求满足mm一2一2、(Xi)( f *(Xi)-yi)=min (Xi)( f(Xi) -yi) ,(Xi)=0(1)i 0i O的 f*(X)。要使(1)最小，它转换为求多元函数mnI(a0,ai, )八，(X)aj(为)- f(Xj2i =0j=0的极小点(a。 4 )问题。由求多远函数极值的必要条件，有mn一=2%，(Xi)司3)-f(Xi)，(Xi) = 0 (k = 0,1, ,n).ai =0j =0m若记(中 jWk)= 8(Xi)%(Xi 凡(X
14、i), i =0则m(f, k) =、(Xi)f(Xi) k(Xi) =dk (k =0,1, ,n),i =0可改写为nZ (*j Wk)aj = dk (k = 0,1, n).j =e此方程成为法方程。它也可以写成矩阵形式其中 a - (a0, a1, 卅 0)(0)Ga =d,nJ)巴)0产n)_,an)T, d =(d0,d1, ,dn)T, (Q2)(中0)1 (Q,Q)(Q，)由于9 ,勺中n线性无关，故 G #0,方程组(2)存在唯一解 *ak =ak(i=1,2,3 n),从而得到函数f(x)的最小二乘法解为*.*.*.S*(x)=a。o(x) a1 L(x)an (x)可以证明，这样得到的对于任何多项式形式的 S(x),都有mm一_2. ._2(xi)S* (xi) - f (xi) _ (xi)* S(xi) - f (xi)ini 0故S*(x)确实所求最小二乘解。以上法方程是一种实现方法，对于多项式拟合，我们还可以这样求。设f(x,A)=
