《最小二乘法》由会员分享,可在线阅读,更多相关《最小二乘法(74页珍藏版)》请在金锄头文库上搜索。
1、第5章 线性参数的最小二乘法处理 最小二乘法是用于数据处理和误差估 计中的一个很得力的数学工具。对于从 事精密科学实验的人们说来,应用最小 二乘法来解决一些实际问题,仍是目前 必不可少的手段。 第一节 最小二乘法原理 最小二乘法的发展已经历了200多年的历史 ,它最早起源于天文和大地测量的需要,其 后在许多科学领域里获得了广泛应用。特别 是近代矩阵理论与电子计算机相结合。使最 小二乘法不断地发展而久盛不衰。 最小二乘法的产生是为了解决从一组测量 值中寻求最可信赖值的问题。 一、问题背景 在测量的实验数据处理中,经常需要根据两个 量的一批观测数据(xi,yi),i=1,2,n求出这 两个变量Y与
2、X之间所满足的一个函数关系式Y f(X)。 若变量间的函数形式根据理论分析或以往的经 验已经确定好了,而其中有一些参数是未知的, 则可通过观测的数据来确定这些参数; 若变量间的具体函数形式尚未确定,则需要通 过观测数据来确定函数形式及其中的参数。 一、问题背景 在多数估计和曲线拟合的问题中,不论是参 数估计还是曲线拟合,都要求确定某些(或一个 )未知量,使得所确定的未知量能最好地适应所 测得的一组观测值,即对观测值提供一个好的 拟合。 解决这类问题最常用的方法就是最小二乘法 。 在一些情况下,即使函数值不是随机变量, 最小二乘法也可使用。 设X和Y两个物理量之间的函数关系为 假定此函数关系f已
3、知,但其中a1,a2,ak等 参数还未求出,现对于X和Y有一批观测数据: xi,yi ,i1,2,,n,要利用这批数据 在一定法则之下作出这些参数a1,a2,ak的估 计。 假设诸观测值相互独立且服从正态分布。在等精度观测的 情况下,即认为各误差服从相同的正态分布N(0, y)。 现在的问题是一个参数估计问题:需要给出a1,a2, ak的估计值 , , 。 解决这类问题最常用的方法就是最小二乘法。在一些情况 下,即使函数值不是随机变量,最小二乘法也可使用。 一般根据测量的实际情况,可假设变量X的测量没有误 差(或与Y的误差相比很小,可略去),而变量Y的测量有 误差,故关于Y的观测值yi可以写成
4、 这里y0i表示xi对于的Y的变量真值,i表示相应的测量 误差。 二、最小二乘法准则与正规方程 在参数估计问题中,最小二乘法的法则是: 所选取的参数估计值 , , 应使变量Y的诸观测 值yi与其真值的估计值(又叫拟合值),即f(xi;a1,a2,ak) 之差的平方和为最小。 用式子表示时,记残差i为 最小二乘法就是要求 =最小 在这个条件下,利用数学中求极值的方法可以求出 参数 , , 。这样求出的参数叫参数的最小 二乘估计。 正规方程 根据数学分析中求函数极值的条件: =最小 共得k个方程,称正规方程,求此联立方程的解可得 出诸参数估计值 (j1,2,k)。 不等精度情况下的最小二乘法 以上
5、是等精度观测的情况,若诸观测值yi是不等精度的 观测,即它们服从不同的方差i2的正态分布N(0,1),那么 也不难证明,在这种情况下,最小二乘法可改为: 选取的参数估值应使诸观测值yi与其估计值 之差的加 权平方和为最小。用式子表示就是要使 =最小 其中,wi为各观测值yi的权。wi2i2,i1, 2,n。这里2为任选的正常数,它表示单位权 方差。 不等精度情况下的最小二乘法正规方程 同样地,根据数学分析中求函数极值的条件: 共得k个方程,称正规方程,求此联立方程的解可得 出诸参数估计值 (j1,2,k)。 最小二乘法的几何意义 从几何图形上可看出,最小二乘法就是要在穿过各 观测点(xi,yi
6、)之间找出这样一条估计曲线,使各观测 点到该曲线的距离的平方和为最小。 Y X 三、最小二乘法与最大似然法的关系 如果假定各观测值是相互独立且服从正态分布, 期望值是(xi;a1,a2,ak),方差是i2, 则观测值的似然函数为 最大似然法要求上式取极大值,这就相当于要求指 数项中的 =最小 这就说明了在观测值服从正态分布的条件下,最 小二乘估计与最大似然估计是一致的。 观测值不服从正态分布时的最小二乘估计 实质上,按最小二乘条件给出最终结果能充分 地利用误差的抵偿作用,可以有效地减小随机误 差的影响,因而所得结果具有最可信赖性。 假若观测值不服从正态分布,则最小二乘估计 并不是最大似然估计。
7、但应该指出,在有些问题 中观测值虽然不服从正态分布,但当样本容量很 大时,似然函数也趋近于正态分布,因此,这时 使用最小二乘法和最大似然法实质也是一致的。 不服从正态分布时最小二乘法的统计学性质 若观测值是服从正态分布的,这时最小二乘法和最大似 然法实际上是一回事。但观测值不服从正态分布或其分布 未知时,这时用最小二乘法显得缺乏理论的验证。但应该 指出,作为一种公理来使用,最小二乘法仍然是可以接受 的,而且可以证明,所得到的估计仍然具有一些很好的统 计性质,这些性质是: (1)解是无偏的,即 (2)解是观测值的线性组合,且有最小方差。这称为高 斯马尔可夫定理; (3) 加权的残差平方和的期望值
8、是 当21,即取wi1/i2,这时称 为2 量。期望值为nk。 第二节 线性参数的最小二乘法 一般情况下,最小二乘法可以用于线性参数 的处理,也可用于非线性参数的处理。由于测 量的实际问题中大量的是属于线性的,而非线 性参数借助于级数展开的方法可以在某一区域 近似地化成线性的形式。 因此,线性参数的最小二乘法处理是最小二 乘法理论所研究的基本内容。 一、线性参数的测量方程一般形式 线性参数的测量方程一般形式为 (5-7) 相应的估计量为 (5-8) 误差方程 其误差方程为 (5-9) 二、线性参数的误差方程式的矩阵形式 设有列向量 和nt阶矩阵(nt) 则线性参数的误差方程式(59)可表示为
9、即(5-10) 等精度测量最小二乘原理的矩阵形式 即 或 (5-11) (5-12) 残余误差平方和最小这一条件的矩阵形式为 不等精度测量最小二乘原理的矩阵形式 最小二乘原理的矩阵形式为 或 (5-14) (5-13) 式中的P为nn阶权矩阵。 线性参数的不等精度测量还可以转化为等精度的形 式,从而可以利用等精度测量时测量数据的最小二 乘法处理的全部结果。 三、线性参数最小二乘法的正规方程 为了获得更可取的结果,测量次数n总要多于未 知参数的数目t,即所得误差方程式的数目总是要 多于未知数的数目。因而直接用一般解代数方程 的方法是无法求解这些未知参数的。 最小二乘法则可以将误差方程转化为有确定
10、解 的代数方程组(其方程式数目正好等于未知数的个 数),从而可求解出这些未知参数。这个有确定解 的代数方程组称为最小二乘法估计的正规方程(或 称为法方程)。 1线性参数的最小二乘法处理的基 本程序 线性参数的最小二乘法处理程序可归结为: (1)根据具体问题列出误差方程式; (2)按最小二乘法原理,利用求极值的方法将误差方程 转化为正规方程; (3)求解正规方程,得到待求的估计量; (4)给出精度估计。 对于非线性参数,可先将其线性化,然后按上述线性参 数的最小二乘法处理程序去处理。 建立正规方程是待求参数最小二乘法处 理的基本环节。 2等精度测量的线性参数最小二乘法处理 的正规方程 线性参数的
11、误差方程式为 最小二乘法处理的正规方程为 (5-19) 这是一个t元线性方 程组当其系数行 列式不为零时,有 唯一确定的解,由 此可解得欲求的估 计量 线性参数正规方程的矩阵形式 正规方程(519)组,还可表示成如下形式 表示成矩阵形式为 线性参数正规方程的矩阵形式 (5-21) 又因 有 即 (5-22) 若令 则正规方程又可写成 (5-22) (5-23) 若矩阵C是满秩的,则有 的数学期望 因 式中Y、X为列向量(n 1阶矩阵和tl阶矩阵) 可见是X的无偏估计。 其中矩阵元素Y1,Y2,Yn为直接量的真值,而 Xl,X2,Xn为待求量的真值。 例51 在不同温度下,测定铜棒的长度如下表,
12、试估计0时 的铜棒长度y0和铜的线膨胀系数。 解: (1)列出误差方程 式中, li在温度ti下铜棒长度的测得值; 铜的线膨胀系数。 令y0a,y0=b为两个待估计参量,则误差方程可写为 (2) 列出正规方程 为计算方便,将数据列表如下: 将表中计算出的相应系数值代人上面的正规方程得 (3)求出待求估计量 求解正规方程解得待求估计量 即 按矩阵形式解算 由正规方程,有 则 所以 (4)给出实验结果 铜棒长度yt随温度t的线性变化规律为 3不等精度测量的线性参数最小二乘法处理的 正规方程 不等精度测量时线性参数的误差方程仍如上述式(5 9)一样,但在进行最小二乘法处理时,要取加权残 余误差平方和
13、为最小,即 用矩阵表示的正规方程与等精度测量情况类似,可表示为 (5-27) 即 上述正规方程又可写成 (5-28) 该方程的解,即参数的最小二乘法处理为 (5-29) 令 则有 (5-30) 例52 某测量过程有误差方程式及相应的标准差如下: 试求x1,x2的最小二乘法处理正规方程的解。 解: (1)首先确定各式的权 (2)用表格计算给出正规方程常数项和系数 (3)给出正规方程 (4)求解正规方程组 解得最小二乘法处理结果为 四、最小二乘原理与算术平均值原理 的关系 为了确定一个量X的估计量x,对它进 行n次直接测量,得到n个数据 l1,l2,ln,相应的权分别为p1,p2 ,pn,则测量的
14、误差方程为 (5-35) 其最小二乘法处理的正规方程为 (5-36) 由误差方程知al,因而有 可得最小二乘法处理的结果 (5-37) 这正是不等精度测量时加权算术平均值原理所给出的结果。 对于等精度测量有 则由最小二乘法所确定的估计量为 此式与等精度测量时算术平均值原理给出的结果相同。 由此可见,最小二乘法原理与算术平均值原理 是一致的,算术平均值原理可以看做是最小二乘 法原理的特例。 第三节 精度估计 对测量数据最小二乘法处理的最终结果, 不仅要给出待求量的最可信赖的估计量,而 且还要确定其可信赖程度,即应给出所得估 计量的精度。 一、测量数据的精度估计 为了确定最小二乘估计量X1,X2,
15、Xt的 精度,首先需要给出直接测量所得测量数据的 精度。测量数据的精度也以标准差来表示。因 为无法求得的真值,因而只能依据有限次的测 量结果给出的估计值 ,所谓给出精度估计, 实际上是求出估计值 。 (一)等精度测量数据的精度估计 设对包含t个未知量的n个线性参数方程组( 57)进行n次独立的等精度测量,获得了n 个测量数据l1,l2,ln。其相应的测量误差 分别为1,2,n,它们是互不相关的随 机误差。因为一般情况下真误差1,2, n是未知的,只能由残余误差l,2,n 给出的估计量。 前面已证明是自由度为(nt)的2变量。 根据2变量的性质,有 (5-39) 取 (5-40) 可以证明它是2的无偏估计量 因为 习惯上,式5-40的这个估计量也写成2,即 (5-41) 因而测量数据的标准差的估计量为 (5-43) 例53 试求例51中铜棒长度的测量精度。 已知残余误差方程为 将ti,li,值