第十一章最小二乘问题

《第十一章最小二乘问题》由会员分享，可在线阅读，更多相关《第十一章最小二乘问题（8页珍藏版）》请在金锄头文库上搜索。

1、 236第十一章 最小二乘问题 第十一章 最小二乘问题 一、内容提要 一、内容提要 11.1 最小二乘问题 11.1 最小二乘问题 1 定义定义 给定矩阵nmRA，向量mbR，求nRx 0，使得 0| min | nx RbAxbAx =, 称上述问题为线性最小二乘线性最小二乘问题，简称为最小二乘问题；称解0x为最小二乘解最小二乘解。 最小二乘问题也可以看作是线性方程组 ,m nAxbAR= 的最小二乘问题，相应地最小二乘解0x称为线性方程组的最小二乘解。 2 数学性质数学性质 定理 1定理 1 最小二乘问题的解恒存在；且解唯一的充分必要条件是 nArank=)(。 定理 2定理 2 最小二乘

2、解满足方程组 TTA AxA b=， 反之，若x是上述方程组的解，则其是最小二乘解。 称上述方程为最小二乘问题的正规方程组正规方程组（或法方程组法方程组或 Euler 方程方程） 。 3 QR 分解分解 定理 3定理 3 设矩阵nmRA列满秩，即nArank=)(。则存在列标准正交矩阵nmRQ及非奇上三角矩阵nnRR，使得 QRA =， 且在约定 R 的对角元素0iir情形下，上述分解唯一, 称之为矩阵A的 QR 分解分解。 所谓列标准正交矩阵 ()nqqQL1=，指的是列向量组标准正交，也即EQQT=。 利用 QR 分解，可计算出最小二乘解： 2371） 作矩阵A的 QR 分解，QRA=；

3、2） 求解上三角方程组，TRxQ b=。 4 相关概念相关概念 设1(,)m n nAaaR=L，定义矩阵A的值域值域为， ,|)(nRxAxyyAR=1( ,)nL aa=L； 矩阵A的零空间零空间定义为 . , 0|)(nRxAxxAN=， 定理 4定理 4 )()(TANAR=， )()(ANART=。 11.2 奇异值分解 11.2 奇异值分解 1 定义与结论 定义与结论 设矩阵nmRA，则AAT的特征值为 1210rrn+=LL， 称niii, 1,L=为矩阵A的奇异值奇异值；并称1,r 为A的最大奇异值和最小奇异值。 定理 1定理 1 设矩阵nmRA，则存在m阶正交阵U和n阶正交阵

4、V，使得 Tm nOU AVOO=， 其中ridiagir, 1, 0),(1LL=， 上式等价于， TVOOOUA =， 称其为矩阵A的奇异值分解奇异值分解。 称V的列向量iv为矩阵A的对应i的单位右奇异向量右奇异向量； 称U的列向量iu为矩阵A的对应i的单位左奇异向量左奇异向量。 定理 2定理 2 设矩阵nmRA有上述奇异值分解。记 ()muuUL1=，()nvvVL1=，238则成立 （1）rArank=)(； （2）()ruuLARL1)(=； （3）()nrvvLANL1)(+=； （4）T rrrTvuvuA+=L111； （5）22 1 112 rminjija+= =L。 2奇

5、异值分解在计算最小二乘问题中的作用 奇异值分解在计算最小二乘问题中的作用 设 rArankRAnm=)(,，mbR，考虑最小二乘问题， min| nx RbAx , 当nrArank满足. TV VE=。证明1V的奇异值皆小于等于 1。 7 设11 11A=，()BAA=， （1） 分别写出矩阵,A B的奇异值分解； （2） 观测它们的关系，是否可以利用A的奇异值分解，而直接写出B的奇异值分解； （3） 考虑一般矩阵A情形：利用A的奇异值分解，写出B的奇异值分解。 8 设1,pL是mn矩阵A的非零奇异值，min , pm n=，证明 TOA AO 具有非零奇异值1,pL，1,pL.和|mn个零

6、奇异值。 9 计算矩阵345 217A=的奇异值分解。 10 利用矩阵A的奇异值分解，证明矩阵A的极分解定理：设m nAR， （1） 若nm， 则 APY=， 其中 m mPR 是半正定矩阵，m nYR满足T mYYE=； （2） 若mn，则 AXQ=， 其中 n nQR 是半正定矩阵，m nxR满足T nX XE= （3） 若mn=， 则 APWWQ=， 其中,n nP QR是半正定矩阵，n nWR为正交阵。 11 证明HH+=.成立的充分必要条件是 2H为对称的幂等矩阵且 2rankHrankH=。 12 证明：若A是正规矩阵（即TTA AAA=） ，则A AAA+=。 13 验证 541312426123033G =是矩阵 101 111 012 111A = .的广义逆。 14 记1111,BA ABAAB B+=，证明 111111;()()ABABABABB A+=， 243（1） 分别写出矩阵,A B的奇异值分解； （2） 观测它们的关系，是否可以利用A的奇异值分解，而直接写出B的奇异值分解； （3） 考虑一般矩阵A情形：利用A的奇异值分解，写出B的奇异值分解。