矩阵代数数值计算

《矩阵代数数值计算》由会员分享，可在线阅读，更多相关《矩阵代数数值计算（66页珍藏版）》请在金锄头文库上搜索。

1、 第五章 矩阵代数数值计算 一、矩阵的基本运算二、矩阵的三角分解三、矩阵的正交变换 四、矩阵的谱分解 五、IMSL中的线性系统、特征值分析模块 矩阵代数运算是统计模型的基础，统计模型的所有估计几乎都是用矩阵代数运算计算出结果。例如最小二乘估计、典型相关分析、因子分析以及各类回归分析。从计算的角度来说为使计算结果可靠，我们总是先对矩阵进行三角分解，然后进行各种计算例如，矩阵的逆、求解线性方程组以及对矩阵进行谱分解等。本章首先介绍矩阵的三角分解，然后引导学习者使用IMSL和SASD中的丰富矩阵的算法，将它们拼接起来就可以解决各种矩阵的计算。5.1 引言n 矩阵代数运算在数值计算中起着基础性的作用，

2、无论我们建立了多么复杂的数学模型，最终我们总是要把它变为矩阵代数的形式。特别是统计模型，无论是多元线性回归、广义线性模型、多元统计分析无不与矩阵代数有着密切的联系。我们所研究的对象，即样本可以看成是一个矩阵，而统计上的协方差，实际上是该矩阵的转置与该矩阵相乘形成的新矩阵的元素。而回归的最小二乘估计的算法为：（5.1.1)包含了矩阵的乘、矩阵的求逆及矩阵与向量的乘法等等。而特征值与特征向量在数理统计理都有明确的条件统计含义。因此我们将在这一章介绍矩阵运算的基本数值方法，以及如何调用IMSL和SASD中丰富的算法模块。5.2 矩阵数值计算基础n对于一般的二维样本，我们总可以写成如下的矩阵形式。（5

3、.2.1)从计算的角度处理矩阵问题的一个最有效的方法是，将一个一般的矩阵分解为几个简单矩阵的乘积形式。其中最便于计算的是三角矩阵，以上三角矩阵为例，由其性质，两个上三角阵的和、积仍为上三角阵，上三角阵的特征值就是其对角线元素。 系数矩阵为上三角阵的线性线性方程组是最容易求解的，上三角阵的逆阵仍然是上三角阵。因此处理矩阵计算问题的关键是将一般矩阵化为三角阵和对角阵的形式，然后进行计算。5.2.1 矩阵的三角 三角分解（1）L*R分解（5.2.2)其中 L 单位下三角阵（主对角线元素为1），R为上三角阵。（2）LDR* 分解(5.2.3)其中L为单位下三角阵，D为对角阵，为单位上三角阵。 （3）C

4、rout 分解（5.2.4)其中为单位下三角阵，为单位上三角阵。 (4) Cholesky 分解（5.2.5)其中A为正定对称阵，T 为上三角阵。Cholesky 分解是统计计算中最常用的分解方法之一。因为我们的协方差矩阵、相关矩阵都是使用这种分解方法。 5.2.2 矩阵的三角分解算法以上四种分解是类似的，使用待定系数法。(1) 以 LR* 分解为例，设其中A为正定阵，并记分解已为以下形式： =利用矩阵相对应元素相等的事实，我们立即得到 现在我们可以计算矩阵 L 的第一列由第二行，第二列相等,以及用前面的计算结果我们有： 矩阵 R* 的第二行矩阵L的第二列即有以下公式：从而我们可以推出一般的计

5、算公式：（2）Cholesky分解算法同样，利用待定系数法以及矩阵 A 的正定对称性，我们有：我们可以推导出 Cholesky 三角分解得算法 ：为保证除法运算时 ，我们由以下定理定理5.2.1 当 A 为对称正定阵时，A 的Cholesky 分解必存在，并且当限定 T 的对角元素为正时，其分解是唯一的。有了矩阵三角三角分解后，各种矩阵的求解就十分方便了。例如：求解线性方程组对 A 作 LR 分解，有 ，则解方程变换为解5.2.3 矩阵的正交变换我们从另一个角度来考虑LR分解，由前面的结论我们有 此表达式可以了解为对A线性变换后变成了三角阵R，其中为变换阵。问题是我们能否用更为简单的一系列变换

6、将A变为上三角阵。（1） 矩阵的正交三角分解矩阵的正交分解可以写成以下形式其中 Q 是正交矩阵，即 ，R是上三角矩阵，从而我们有 (5.2.6)这种变换在矩阵的运算中是非常重要的。以下我们将 分解为一系列较为简单的正交变换。（2）Householder 变换为产生尽量简单的正交变换，我们考虑以下形式的正交方阵 (5.2.7)这里 In 是单位矩阵，u 为 n 维向量，为正实数。具有这种形式的正交变换称为 H 型变换，我们可以通过以下步骤将矩阵 A变换为上三角阵 R，先用 H 型变换将A的第一列变量变为：再用 H 型变换将A的第二列变为 ：第 i 步有 为实现这一过程，我们先考虑以下简单问题。设

7、 我们要求一个H 型正交矩阵Hi ，使得后 n-I 个元素为 0 ， 其中 为常数，为使后n-i个元素为0，可以取 这里称此 为由向量 定义的Householder变换，并有性质 。 1）2） Hi 是正交的3） （3） Gives变换Gives 变换具有以下性质：第 j 列第 i 列Gives 变换具有以下性质：1） 是正交矩阵2）用 左 乘，结果只改变 A 的第 i 行第 j 行元素。 用 左 乘，结果只改变 A 的第 i 行第 j 行元素 。 3）对向量这里5.2.4 矩阵的谱分解前面的方法是用正交变换方法将矩阵A变为三角阵，以下我们用同样的方法将A变换为对角矩阵。（1）对称矩阵的谱分解

8、设 是 n 阶方阵，以下分解式称为 A 的谱分解式，或称为特征值分解式：（ 5.2.8)其中 U 为 n 阶正交方阵，D为对角阵， 称为矩阵 A 的谱或称特征值，若记 记 ，则上式可以写成(5.2.9)如果 A 是实对称矩阵，则 A 的谱分解一定存在。（2）矩阵谱分解的计算方法（5.2.9) 可以改写如下：（5.2.10)即A是经过正交变换后化为对角阵的，我们可以利用Householder和Givens方法的思路来构造这样的正交变换，具体来讲，我们可以将（5.2.8）式中的U分解为一系列简单的正交矩阵乘积的形式，具体算法为：即以下介绍如何适当选取 ，使 在k充分大时接近于一个对角阵。Jacob

9、i旋转法在 Gives 矩阵中取其中 待定，对于 任意，可以验证 是一个正交变换，与解析几何中的旋转变换类似，在 n 维空间中，若对其中的二维(i, j)作旋转变换，称其为(i, j)平面上的旋转矩阵。可以证明 Jacobi 算法必有 为对角矩阵。在（5.2.9）如果取 为 的 正交三角变换，则为著名的求特征值的QR算法 3）QR算法（a）（b）对 做 的正交分解 取A为任意方阵，可以证明 “基本收敛”于一个上三角矩阵 ，而对角线元素为其特征值。 5.2.5 矩阵的奇异值分解设 是任意非零矩阵，则 为 A的奇异值分解，其中 U 和 V 分别为 n 和 m 阶正交方阵 ，D 为 nm 阶对角阵，

10、其非对角元素均为 0，D的对角线元素称为矩阵 A 的奇异值。奇异值的分解与矩阵的谱分解方法类似。 5.2.6 矩阵的广义逆矩阵的广义逆在统计计算中具有重要的作用，它是由矩阵的逆的概念进一步一般化而来。设 为 nm 阶矩阵，G为 nm 矩阵，如果G满足：（1）AGA=A（2）GAG=G（3）（AG）=AG（即AG为对称矩阵）（4）（GA）=GA （即GA为对称矩阵）满足这四个条件的某几个或全部，则称矩阵G为矩阵A的广义逆。定义：1）满足上面第一条的矩阵 G 称为 A的减号逆，记为 G=A-2）满足上面条件（1），（2）的矩阵 G 称为 A的自反广义逆记为3）满足上面所有的四个条件称G为A的加号逆

11、极为5.2.7 线性方程组的解我们可以用矩阵的广义逆这一有力的工具来解线性方程组其中 A 为 nm 矩阵，b 为 n1的向量，x 为 m1的位知向量，若（5.2.11）有解，则称其为相容方程。（5.2.11)如果存在 使得则称 为方程（5.2.11) 的最小二乘解，其中表示向量 y 的模，其定义为。以下不证明，给出相容方程的一般表达式或u任意5.2.8 矩阵的范数（模）矩阵的范数与条件数是矩阵代数运算的重要概念之一，范数为任意矩阵定义了一个函数，而条件数是将来进行计算时对计算精度的一种衡量。请见范数的定义：定义：设 Rm 为 m 维实数空间， 是 Rm 到实数轴R1的一个映射，若 满足（1）

12、时成立 （2）对任意常数 ，（3）则称 为向量 x 的范数常用的范数有：1）2）3）矩阵范数的定义：定义：设 是nm维实数空间， 是 到实数轴的一个映射，如果满足：（2）对任意常数 ， 有（3）则称 为矩阵A的范数 ，特别，如果 （1）（4）对则称 为矩阵A的相容范数。矩阵A的常用范数对于任意矩阵 定义：容易证明 是矩阵A的相容范数。则常用的矩阵范数：（1）（2）（3 ）这里我们主要讨论 ，并记以定理：设 A 是 nm 矩阵，则有这里 为矩阵 A 的绝对值最大的特征值（奇异值），从而我们给矩阵定义了一个范数。 5.2.9 矩阵的条件数定义：称 为 的条件数，记为：条件数有以下性质：（1） 即矩

13、阵的条件数为矩阵的最大奇异值比最小奇异值的绝对值。特别当A为对称阵时即为A的最大特征值和最小特征值之比的绝对值。 （2） ， 当 A 为正交阵时等式成立。（3）对任意非零常数有，（4）若 ，则（5）矩阵条件数的重要意义在于，可以判别一个求逆矩阵的病态性。当系数矩阵的条件数非常大时，即存在接近与0的特征值，将导致解的误差急剧放大。或者说得出的解不可信。对于最小二乘估计：我们最关心的是对称矩阵 的条件数是否正常，从而判别最小二乘估计是否可信。5.3 IMSL库中的矩阵计算模块nIMSL库中的maths.lib库中有非常丰富的矩阵 计算模块包括：n矩阵乘、矩阵求逆、广义逆矩阵与向量乘等。n矩阵的谱分解、矩阵的奇异值分解。n矩阵、向量的模计算。n矩阵的条件数的计算。n求解线性方程组。打开maths.lib我们可以看到基本矩阵向量运算模块求解线性方程组矩阵的特征值分析5.3.1 矩阵的基本运算模块基本线性代数计算矩阵的变换矩阵相乘矩阵与向量乘IIntegerSReal C ComplexDDouble Z Double complexSDSingle and Double CZ Single and double complexDQDouble and QuadrupleZQDouble and quadruple complex基本代数运算子程序名的第