《第四章参数的最小二乘法估计》由会员分享，可在线阅读，更多相关《第四章参数的最小二乘法估计（23页珍藏版）》请在金锄头文库上搜索。
1、第四章 最小二乘法与组合测量1 概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。最小二乘法的发展已经经历了 200 多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发
2、展而久盛不衰。本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。2 最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量 测量一组数据 ，假设数据中不存在系统误差和粗大误差，相xnx,21互独立，服从正态分布，它们的标准偏差依次为： 记最可信赖值为n,21，相应的残差 。测值落入 的概率。xxvii),(dxivPiii 2ep1根据概率乘法定理，测量 同时出现的概率为nx,21niinii dxvP)(21exp)(12显然，最可信赖值应使出现的概率 P 为最大，即使上式中页指数中的因子达最小，即 iMinv2权因
3、子： 即权因子 ，则2oiiwiw21i2ivn再用微分法，得最可信赖值 x即加权算术平均值1niiwx这里为了与概率符号区别，以 表示权因子。i特别是等权测量条件下，有： Minvi2以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。为从一组测量数据中求得最佳结果，还可使用其它原理。例如（1）最小绝对残差和法： Minvi（2）最小最大残差法： imax（3）最小广义权差法： ivii以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。3.线性参数最小二乘法先举一个实际遇到的测量问题，为精密测定三个
4、电容值: 采用的测321,x量方案是，分别等权、独立测得 ,列出待解的数学模型。32312,xx=0.31=-0.42x+ =0.513+ =-0.32x这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为 ，按最小二4321,v乘法原理分别对 求偏导数，令它们等于零，得如下的确定性方Minvi2 321,x程组。( -0.3)+( + -0.5)=01x13x( +0.4)+( + +0.3)=022( + -0.5)+( + +0.3)=01x3x3可求出唯一解 =0.325, =-0.425, =0.150 这组解称之为原超定
5、方程组12的最小二乘解。以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。一、正规方程组设线性测量方程组的一般形式为：tiiii xaxay21 ),21(ni即 tnnn txaxay21221211式中，有 n 个直接测得值 ，t 个待求量 。nt,各y,2 tx,21等权，无系统误差和粗大误差。iy固 含有测量误差，每个测量方程都不严格成立，故有相应的测量残差方i程组tjjiii xayv1),21(ni实测值iy待估计量，最佳估计值，最可信赖值jx最可信赖的“y”值。tjjia1按最小二乘法原理，待求的 应满足jxnitjjiini Minayv12112上式分别对 求偏导数
6、，且令其等于零，经推导得jx正规方程组 21 222 11211 yaxxattttt t式中， ， 分别为如下列向量jay1122jnnay和 分别为如下两列向量的内积：klayj=l nklklkl a21=yj jjj yy正规方程组有如下特点：（1）主对角线系数是测量方程组各列系数的平方和，全为正数。（2）其它系数关于主对角线对称（3）方程个数等于待求量个数，有唯一解。由此可见，线性测量方程组的最小二乘解归结为对线性正规方程组的求解。为了便于进一步讨论问题，下面借助矩阵工具给出正规方程组的矩阵形式。记列向量12nyY12txX12nvV12nllL=和 nt 阶矩阵 121tnntaA
7、则测量方程组可记为： 一般意义下的方程组X=Y测量残差方程组记为12Ln当估计出的 已经是最可信赖的值，则 是 的最佳结果。jxAXiy最小二乘原理记为 T()()MinL-利用矩阵的导数及其性质有 ()2()()2xx TTTTVLXAL-令 ，得正规方程组的矩阵形式。()0xTVTAX=L展开系数矩阵 和列向量 ，可得代数形式的正规方程组。TA上述和矩阵的导数有关，因此，我们来分析“矩阵最小二乘法” 。二、矩阵最小二乘法1. 矩阵的导数设 阶矩阵。nt)12112()ti ij tnintaAaA n 阶列向量（n+1 阶矩阵） 和 t 阶列向量VX1122ntvxVX与 的转置（行向量）
8、记为 与 .VXT关于向量 的标量函数。 12()txX定义如下几个导数。（1）矩阵对标量 的导数x矩阵内 A 元素 是 的函数，对矩阵 的导数，定义为各元素对 的导ijaAXx数，构成新的导数矩阵。若 是变量 的函数，则定义ijx(E-1)()ijdaxA（2）标量函数对向量的导数标量函数 ，对列向量 的导数，等于标量函数 对向量 的组成元素XX的导数组成的列向量（行向量的转置）(1)ixt(E-2)12()Ttyyxx标量函数 ，对行向量 的导数，等于标量函数 对向量 的组成元素TXX的导数组成的行向量。(1)ixt(E-3) 21()(TTtyyxx（3）行（列）向量对列（行）向量的导数
9、 12()nvTV行向量 对列向量 的导数等于行向量各组成元素，对列向量各组成元TVX素分别求得(E-4)112221ninnttvxvxvx TV(E-5)1122121()tTTntTnnitvxvxvx VVXX关于矩阵的导数有如下性质：（1）矩阵 A 和 B 乘积对标量 x 的导数(E-6)()ddxAB（2）常数阵的导数为零矩阵。(E-7)0dx（3）向量关于自身转置向量的导数为单位方阵。(E-8)ITX=d（4）向量与向量转置乘积的导数(E-9)()TTV=2x(E-10)()TTX（5）关于常数矩阵与向量乘积的导数(E-11)()TXA(E-12)T=(E-13)()TV2(E-
10、14)TTA=XX利用（E-1） 、 （E-4） 、和（E-5）三个定义式，容易证明式（E-6） 、 （E-7） 、（E-8） 、和（E-11） 、 （E-11）成立。以下证明式（E-9）注意到式（E-2）和式（E-4）即， 标量对列向量求导 (E-2)12()Ttxx行向量对列向量求导 (E-4)1112221()nTnnttvvxv VXX式（E-9） 左11212()nii nt tvvxxxvv 11212nnttxvx 右TV类似地，可以证得式（E-10）成立。再证明式（E-13）注意到 是关于 的标量函数，由式（E-2）知，只需证明TVAx()2i ixTTVA由于1211212(
11、)niiiTni inniivvaaVvxxx A111ni inni ivvaavvxx 111ni inni vvaaxvv 1121()ini ni avx TVA所以式（E-13）左 ()+2i iiVx右TTA2. 正规方程设线性测量方程组与基残差方程组分别为(E-15)AX=Y(E-16)LV-式中 为 阶常数矩阵， 为 t 阶待求向量， 是已知的 阶的测量向AntLn量， （注意 均是已测量所得） ， 是 n 阶残差向量。12,l由最小二乘原理 ()()MiTTV=LAX-求（矩阵性质(E-9)式）()2TTVX()()TLXA注意到式（E-7）即常数阵的导数为零矩阵。0TX注意
12、到式（E-11）即 ，故()TA()TT所以 ()2()TTVALXX-令 得正规方程组的矩阵形式()0TVX(E-18)ATT=L当 满秩的情形，可求出TA(E-19)1()TX一般地，可从式（E-15）出发，用稳定的数值解法，计算 A 的广义逆阵得1A(E-20)1AXL要进一步去研究此问题，可参阅有关近代矩阵分析及其数值方法的专著3待求量 的协方差矩阵。X已知测量向量 协方差矩阵。L=()TDELL12112nnnDllll 式中， 为 的方差：ili 2()iiiilEl为 与 的协的方差：ijDlijl ijijjDl这里，假设 为等精度、独立测量的结果，有12,nll 2IL利用式
13、（E-19）待求量 X 的协方差1111112()()()()()(T TTTEEEDIT TTTXALAALL=-所以(E-21)12()DTXA4.最小二乘法解的最佳性可以证明，在等精度、独立和无系统误差的测量条件下，最小二乘法的解具有唯一性、无偏性、有效性和充分性。证明：.唯一性1因测量方程相互独立，且 nt,则 满秩，式（E-18）有唯一解TA.无偏性2对 的估计式（E-19）求数学期望。X11()()()EExT-1TTAYAYA.有效性3设另有 的无偏估计X*=GXY则有 EA故 GI又 22*()TTTDDIGXY而 1()A引入单位向量 010i其中第 行为 1，其它为 0i与
14、 的方差分别为*iXi 22*TiiiG)(iiiA以下证 2*iiTiTiAG)(1 TiTi GAG)(1TiTTi GAA )()( 110TC其中第一等式利用了 ， 是一常数，故GI1()TiC。最后得证 的方差最小，即 的有效性成立。2TCXX.充分性4y 取到了测量样本 中的所有信息，故按（E-18）式求得 的估计12,ny x量，显然也是充分的。正是由于最小二乘法的解具有最佳性，所以，最小二乘法在精密测量的各个领域获得广泛应用。三、精度估计对测量数据的最小二乘法处理，其最终结果不仅要给出待求量的最可信赖值，还要确定其可信赖程度，即估计其精度。具体内容包含有两方面：一是估计直接测量结果 的精度；二是估计待求量 的精度。12,ny 12,tx1直接测量结果的精度估计对 t 个未知量的线性测量方
