最小二乘法及其应用

《最小二乘法及其应用》由会员分享，可在线阅读，更多相关《最小二乘法及其应用（13页珍藏版）》请在金锄头文库上搜索。

1、最小二乘法及其应用1 引言最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测 地学家的广泛关注。据不完全统计,自 1805 年至1864 年的 60 年间,有关最 小二乘法的研究论文达 256 篇,一些百科全书包括 1837 年出版的大不列颠百 科全书第 7 版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也 立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784 1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内 的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在 1810 年也 给出了正态规律的一个新的理论推

2、导并写入其分析概论中。正态分布作 为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学 称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之 外而发展成为一个包罗极大,应用及其广泛的统计模型。到 20 世纪正态小样 本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是 19 世 纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、 方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论 基础。正如美国统计学家斯蒂格勒(S. M. St igler)所说，“最小二乘法之 于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基

3、本得方 法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。2. 最小二乘法所谓最小二乘法就是：选择参数b ,b，使得全部观测的残差平方和最小.01用数学公式表示为：min 工e 2 二工(Y - Y )2 二工(Y - b - b x )2i i i i 0 1 i为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为 例.Y二B + Bx +卩(一元线性回归方程)i 0 1 i i由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即：Y = b + b x + e (i = l,2.n)i 01 i i从上面的公式可以看出：残差e是Y的真实值与估计值之差，估计

4、总体ii回归函数最优方法是，选择B ,B的估计量b ,b，使得残差e尽可能的小.0 l0 li总之，最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实 值差的平方和为最小，这种确定b ,b的方法叫做最小二乘法。0l最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线 性回归方程和非线性回归方程。2.1 线性回归最小二乘法最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法. 在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数(即真实 总体回归函数的估计值)，但是在回归分析中最广泛应用的方法是最小二乘 法.如果变量x和y有精确的线性关系比如说y = ax + b，

5、那么y =扌即观测ii值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此， 由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比 如说人的身高和体重就是一个对应，我们都知道长的高的人不一定就重，同 理长的矮的人也不一定就轻. 但身高和体重的确存在着一定的关系 ， 而这种 关系并非是y = ax + b所能确定的.那么我们要寻求身高和体重之间的关系 就需要通过数学的方法.首先调查统计得出数据;其次把数据描绘出来；然后 拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间 的关系表示出来.在处理类似的事情中常常用到最小二乘法.2.2 非线性回归最小二乘法非

6、线性回归的种类很多，常用的有抛物线方程(Y = a + bX + cX 2 )、指 数方程(Y = abx )等。设已知列表函数y = f (x )(i = 0,1,.,m)，并且我们想用一个通常的 iin( m)次多项式1)p (x ) =a +a x+.+a xnn01n去近似它。问题是应该如何选择a , a，a使p (x)能较好地近似列表函01 n n数f (x)。按最小二乘法，应该选择a , a，a使得01 n2)S (a , a，a )= X (f (x )- p (x ) 01 ni=0取最小。注意到S是非负的，且是a，0a，.， a 的2次多项式，它必有最小值。1n求S对a， a

7、，a01 n的偏导数，并令其等于零，得到一a -ax -.-a xn)xk = 0 (k = 0,1,.,n)i 01 in i iXm (yIi=0步，进一步，可以将它们写成Xy xk =a ii i=o引进记号xk + ai:迟xk+i +. + a 迟1ii=oxk+n(k = 0 , 1, n.nii=o=Xyxkiii=os = X xk 和ukii=o(3)则上述方程组为sa+sa+s a=0011nnsa+ s a+ sa1021n+n1sa+ s a+ saJ n (0 . n+11 0)方程组(3)有唯一解a,a ,a，且它们使(2)取极n +10 1 n小值如此，我们应用最

8、小二乘法找到了 f (x)的近似多项式p (x)n在利用最小二乘法组成和式(2)时，所有点x都起到了同样的作用，但 i是有时依据某种理由认为工 中的某些项的作用大些，而另外一些作用小些(例如，一些y是由精度较高的仪器或操作上比较熟练的人员获得的，自然i应该予以较大的信任)，这在数学上表现为用和5) P (f (x )-p (x )i i n i i=替代和(2)取最小值.P. 0，且 p二1, P .通常称之为权；而(5)为加权和.i i ii=1用多项式p (x)= a + a x + a xn去近似一个给定的列表函数(即给出n01n的一组观测值y = f (x )时。需要确定的参数是a ,

9、a ,a ;而p (x)可以看ii01 nn成是a ,a ,a的线性函数但是有时在利用观测或实验数据去确定一个经01 n验公式时,往往要确定的函数和待定参数之间不具有线性形式的关系这样 问题就变得有些复杂. 然而，常常可以通过变量替换使其线性化.最小二乘法原理是用来求解线性方程组的,非线性方程经线性化后方可 应用该原理. 通常在测量中遇到的问题不一定都是线性问题, 必须先把非 线性问题线性化, 然后求解. 例如：(i)有时，我们希望用如下类型的函数：s = pt q(6)去近似一个由一组观测数据(列表)所描绘的函数，其中p和q是待定的两 个参数显然s已非p和q的线性函数怎样线性化呢？为此，我们

10、在(6)式两端 取对数，得到Ins = Inp + qInt记 Ins = y, Inp = a , a = q, x = Int, 则 (6) 式变成01y = a + a x .01这是一个一次多项式，它的系数a和a可以用最小二乘法求得.01(ii) 我们经常希望用函数S = AeCt(7)去近似一个以给定的列表函数，其中A、C是待定的参数这时，我们可以(7) 的两端取对数：InS = InA + Ct 记 InS = y, InA = a , C = a , x = t，U(1.7)式变成0 1 1y = a + a x01这样仍可用最小二乘法定出a ,a (从而也就定出了A,C )，得

11、到近似函数01S = Aect .下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型抛物线型和指数曲线型的方程的参数估计方法，介绍如下：( 1 )直线型直线方程的一般形式为Y = a + bX令工(Y-C)2 =E(a + bX -C)2为最小值，分别为a和b求偏导数，并令导数等于 0，得到联立方程组。解方程组，即可得到参数的计算公式 。a = Y - bXn工X - Y 工X 工Yb =VVn乙 X 2 -(乙 X )22)抛物线型抛物线方程的一般形式为Y = a + bX + cX 2令工(Y-C)2 =E(a + bX-C)2为最小值，分别为a、b、c求偏导数,并令导数等于0,

12、得到联立方程组解方程组,即可得到参数的计算公式。Y - na - bE X - c工 X2=0Y X 2 - a工 X - bZ X 2 - cE X3 = 0YX 2 - aZ X 2 - bZ X3- cZ X4 = 0( 3) 指数曲线型 指数曲线的一般形式为Y = ab X取对数，将指数曲线转化成对数直线形式lg Y = lg a + X lg b用最小二乘法估计参数a,b,可有如下方程组 工 lg Y = n lg a + lg b .工 XZ (X . lg Y) = lg a 工 X + lg b .工 X 2解此方程组，可得参数的对数值，查其反对数，即可得参数值。3最小二乘法原

13、理的应用3.1 最小二乘法原理在线性回归中应用例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下图，求出当期物价满意指数x与时间t的曲线拟合。T123456X29.5028.2025.9021.7021.9013.80解：/Irr*t=1 2 3 4 5 6;x=29.50 28.2025.90 21.70 21.90 13.80;plot(t,x,o);2826polyfit(t,x,1)ans =-2.9029 33.6600 则所得到的近似方程为y=-2.9029+33.6600x.3.2 最小二乘法原理在非线性回归中的应用例2设已知函数f (x)的表列值为X0.20.50.70.851Y1.2211.6492.0142.3402.718试按最小二乘法构造f (x)的二次近似多项式.解：下面用 Matlab 程序来求参数 a ,a 和 a . 0 1 2程序如下：x=0.20.50.70.85