第五章向量范数和矩阵范数1

《第五章向量范数和矩阵范数1》由会员分享，可在线阅读，更多相关《第五章向量范数和矩阵范数1（88页珍藏版）》请在金锄头文库上搜索。

1、第五章第五章 向量范数和矩阵范数向量范数和矩阵范数 对于实数和复数，由于定义了它们的对于实数和复数，由于定义了它们的绝对绝对值或模，值或模，这样我们就可以用这个这样我们就可以用这个度量度量来表示它来表示它们的们的大小大小（几何上就是（几何上就是长度长度），进而可以考察），进而可以考察两个实数或复数的两个实数或复数的距离距离。 对于对于 维线性空间，定义了维线性空间，定义了内积内积以后，以后，向量就有了向量就有了长度长度（大小）、（大小）、角度角度、距离距离等度量等度量概念，这显然是概念，这显然是3维现实空间中相应概念的推维现实空间中相应概念的推广。利用广。利用公理化的方法公理化的方法，可以进一

2、步把向量长，可以进一步把向量长度的概念推广到度的概念推广到范数范数。1、向量范数、向量范数一、一、 从向量的长度或模谈起从向量的长度或模谈起 ，当且仅当，当且仅当 时，等号成立。时，等号成立。例例例例 1 1 1 1复数复数 的长度或的长度或模模模模指的是量指的是量显然复向量显然复向量 的模的模 具有下列三条性质：具有下列三条性质： ，当且仅当，当且仅当 时，等号成立。时，等号成立。显然向量显然向量 的模的模 也具有下列三条性质：也具有下列三条性质：例例例例 2 2 2 2 维欧氏空间中向量维欧氏空间中向量 的长度或模定义为的长度或模定义为二、二、 向量范数的概念向量范数的概念定义定义定义定义

3、3 3 3 3如果如果 是是数域数域 上的线性空间，对上的线性空间，对 中的任中的任意向量意向量 ，都有一个，都有一个非负实数非负实数 与之对应，并与之对应，并且具有下列三个条件（且具有下列三个条件（正定性、正齐性和三角不等式正定性、正齐性和三角不等式）：）：则称则称 是向量是向量 的的向量范数向量范数向量范数向量范数，称定义了范数的线，称定义了范数的线性空间性空间 为为赋范线性空间赋范线性空间赋范线性空间赋范线性空间。拓扑空间拓扑空间线性空间线性空间Hausdorff空间空间赋范空间赋范空间 距离空间距离空间(度量空间度量空间)拓扑线性空间拓扑线性空间完备距离完备距离线性空间线性空间距离线性

4、空间距离线性空间内积空间内积空间Hilbert空间空间Banach空间空间欧氏空间欧氏空间 和和各类空间的层次关系各类空间的层次关系例例例例 4 4 4 4 设设 是内积空间，则由是内积空间，则由定义的定义的 是是 上的向量范数，称为由内积上的向量范数，称为由内积 导导导导出的范数出的范数出的范数出的范数。这说明范数未必都可由内积导出这说明范数未必都可由内积导出。例如后。例如后面介绍的面介绍的 和和 。 例例例例 5 5 5 5 在赋范线性空间在赋范线性空间 中，定义任意两向量之间的中，定义任意两向量之间的距离为距离为则称此距离则称此距离 为由范数为由范数为由范数为由范数 导出的距离导出的距离

5、导出的距离导出的距离。此时。此时按此式定义了距离的按此式定义了距离的 满足度量空间的满足度量空间的距离三公理距离三公理（对称性、三角不等式和非负性对称性、三角不等式和非负性），所以赋范线性空，所以赋范线性空间按由范数导出的距离构成一个特殊的间按由范数导出的距离构成一个特殊的度量空间度量空间度量空间度量空间。 三、三、 常用的向量范数常用的向量范数例例例例 6 6 6 6 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为2-2-范数范数范数范数或或 范数，也称为范数，也称为 Euclid Euclid 范数范数范数范数。 例例例例 7 7 7 7 对任意对任意 ，由

6、，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为p -p -范数范数范数范数或或 范数。范数。 例例例例 8 8 8 8 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为1-1-范数范数范数范数或或 范数或范数或和范数和范数和范数和范数，也被风趣地称为，也被风趣地称为ManhattanManhattan范数范数范数范数。 特别地，特别地，p = 1 时，有时，有遗憾的是，当遗憾的是，当 时，由时，由定义的定义的 不是不是 上的向量范数。上的向量范数。因为因为 时，取时，取 ，则，则例例例例 9 9 9 9 对任意对任意 ，由，由定义的定义的 是是 上的

7、向量范数，称为上的向量范数，称为 - -范数范数范数范数或或 范数或范数或极大范数极大范数极大范数极大范数。 在在广义实数广义实数范围内，范围内，P P能否取到正无穷大呢？具体而能否取到正无穷大呢？具体而言，如何计算这种范数呢？言，如何计算这种范数呢？也就是也就是证明：证明： 验证验证 是向量范数显然很是向量范数显然很容易。下证容易。下证 。令令 ，则有，则有由极限的两边夹法则，并注意到由极限的两边夹法则，并注意到 ，即得，即得欲证结论。欲证结论。例例例例 10101010 计算向量计算向量的的p范数，这里范数，这里解解解解 ： %ex501.m i=sqrt(-1);a=3*i,0,-4*i

8、,-12; norm(a),norm(a,1),norm(a,inf) ans = 13ans = 19ans = 12这些范数在几何上如何理解呢？这些范数在几何上如何理解呢？例例例例11 11 11 11 对任意对任意 ，对应于，对应于 四四种范数的种范数的闭单位圆闭单位圆 的图形分别为的图形分别为例例例例 12121212 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为 范数。范数。 特别地，特别地， 范数、范数、 范数和范数和 范数分别为范数分别为定义的定义的 是是 上的向量范数，称为上的向量范数，称为加权范数加权范数加权范数加权范数或或椭椭椭椭圆范数圆范

9、数圆范数圆范数。 例例例例 13 13 13 13 若矩阵若矩阵 为为Hermite正定矩阵，则由正定矩阵，则由对于任意对于任意 ，有，有当当 时，时， ；当；当 时由时由 对称对称正定知正定知 ，即，即 。由于由于 为为Hermite正定矩阵，故存在酉矩阵正定矩阵，故存在酉矩阵 ，使得，使得从而有从而有这里这里 的特征值的特征值 都为正数。都为正数。此时此时因此对任意因此对任意 ，这从几何上可以理解成求可逆变换这从几何上可以理解成求可逆变换 的像的的像的“长度长度” 。这说明只要运算这说明只要运算 成立即可，因此对矩阵成立即可，因此对矩阵 的的要求可放宽为列满秩矩阵要求可放宽为列满秩矩阵。

10、如果如果 ，此时，此时 ，这就是这就是加权范数加权范数加权范数加权范数或或椭圆范数椭圆范数椭圆范数椭圆范数名称的由来。名称的由来。 一般地，由于一般地，由于 是是Hermite正定矩阵，从而存在正定矩阵，从而存在Cholesky分解，即存在可逆矩阵分解，即存在可逆矩阵 （未必是酉矩阵）（未必是酉矩阵），使得，使得 ，因此，因此为为李雅普诺夫（李雅普诺夫（李雅普诺夫（李雅普诺夫（LyapunovLyapunov）函数）函数）函数）函数，这里，这里 是正定对是正定对称矩阵。大家已经知道，此函数是讨论线性和非线性称矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。系统稳定性的重要工具

11、。在现代控制理论中，称二次型函数在现代控制理论中，称二次型函数例例例例 14 14 14 14 （模式识别中的模式分类问题模式识别中的模式分类问题）模式分类模式分类模式分类模式分类的问题指的是根据已知类型属性的观测样本的问题指的是根据已知类型属性的观测样本的模式向量的模式向量 ，判断未知类型属性的模式，判断未知类型属性的模式向量向量 归属于哪一类模式。其基本思想是归属于哪一类模式。其基本思想是根据根据 与与模式样本向量模式样本向量 的相似度大小作出判断。的相似度大小作出判断。最简单的方法是用最简单的方法是用两向量之间的距离两向量之间的距离来表示相似度，来表示相似度，距离越小，相似度越大距离越小

12、，相似度越大。最典型的是。最典型的是Euclidean距离距离其他其他距离测度距离测度还包括还包括以及与椭圆范数类似的以及与椭圆范数类似的Mahalanobis距离距离：这里这里 是从正态母体是从正态母体 中抽取的两个样本。中抽取的两个样本。四、四、 向量范数的性质向量范数的性质定理定理定理定理15 15 15 15 Euclid范数是范数是酉不变酉不变酉不变酉不变的，即对任意酉矩阵的，即对任意酉矩阵 以及任意以及任意 ，均有，均有这个定理的结论是显然的，因为酉变换保持向量的这个定理的结论是显然的，因为酉变换保持向量的内积不变内积不变，自然也保持了，自然也保持了Euclid意义下的意义下的几何

13、结构几何结构（长度、（长度、角度角度或或范数范数等）等）不变不变。注意这个结论对注意这个结论对无限维无限维未必成立。另外，根据等价未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。范数来进行计算。定理定理定理定理16 16 16 16 有限维线性空间有限维线性空间 上的上的不同范数是等价的不同范数是等价的不同范数是等价的不同范数是等价的，即对即对 上定义的任意两种范数上定义的任意两种范数 ，必存在，必存在两个任意正常数两个任意正常

14、数 ，使得，使得2、矩阵范数、矩阵范数 向量是特殊的矩阵，向量是特殊的矩阵， 矩阵可以看矩阵可以看成一个成一个 维向量，因此自然想到将向维向量，因此自然想到将向量范数推广到矩阵范数。量范数推广到矩阵范数。一、一、 矩阵范数的概念矩阵范数的概念定义定义定义定义1 1 1 1 对对 中的任意矩阵中的任意矩阵 ，都有一个非负实，都有一个非负实数数 与之对应，并且具有下列三个条件（与之对应，并且具有下列三个条件（正定性、正正定性、正齐性和三角不等式齐性和三角不等式, ,矩阵乘法相容性矩阵乘法相容性）：）：则称则称 是矩阵是矩阵 的的矩阵范数矩阵范数矩阵范数矩阵范数。(4) (矩阵乘法相容性矩阵乘法相容

15、性)例例例例 2 2 2 2 对任意对任意 ，由，由定义的定义的 是是 上的矩阵范数，称为上的矩阵范数，称为 范数。范数。 例例例例 3 3 3 3 对任意对任意 ，由，由定义的定义的 是是 上的（广义）矩阵范数，称为上的（广义）矩阵范数，称为 范数。范数。 例例例例 4 4 4 4 对任意对任意 ，由，由定义的定义的 是是 上的矩阵范数，称为上的矩阵范数，称为 范范数，数，Euclid Euclid 范数范数范数范数或或FrobeniusFrobenius范数范数范数范数(F(F范数范数范数范数) )。二、二、 算子范数和范数的相容性算子范数和范数的相容性矩阵不仅仅是向量，它还可以看成变换或

16、算子。矩阵不仅仅是向量，它还可以看成变换或算子。 实际实际中，从算子或变换的角度来定义范数更加有用。中，从算子或变换的角度来定义范数更加有用。定义定义定义定义5 5 5 5 对对 中的任意矩阵中的任意矩阵 ，用一个非负实，用一个非负实数数 表示对于任意向量表示对于任意向量 ， 可以可以“拉伸拉伸”向量向量 的最大倍数的最大倍数，即使得不等式，即使得不等式成立的最小的数成立的最小的数 。称。称 为范数为范数 和和 诱导出的矩阵范数诱导出的矩阵范数诱导出的矩阵范数诱导出的矩阵范数或或算子范数算子范数算子范数算子范数。 由矩阵范数的正齐性可知由矩阵范数的正齐性可知 的作用是由它对单位向的作用是由它对

17、单位向量的作用所决定，因此可以等价地用量的作用所决定，因此可以等价地用单位向量在单位向量在 下下的像的像来定义矩阵范数，即来定义矩阵范数，即从几何上看，矩阵范数反映了线性映射把一个向量映从几何上看，矩阵范数反映了线性映射把一个向量映射为另一个向量，射为另一个向量，向量的向量的“长度长度”缩放的比例缩放的比例 的上界。的上界。 而且考虑到而且考虑到矩阵乘法的重要地位矩阵乘法的重要地位，因此讨论矩阵范数，因此讨论矩阵范数时一般附加时一般附加“范数相容性范数相容性”条件（这里的范数一般条件（这里的范数一般要求是要求是同类的同类的）：）： 注意到注意到即即可以证明，前面给出的矩阵范数可以证明，前面给出

18、的矩阵范数 都都满足满足“相容性条件相容性条件”，即成立，即成立但是矩阵范数但是矩阵范数 不满足不满足“相容性条件相容性条件”。例如。例如对于矩阵对于矩阵就有就有要使矩阵范数要使矩阵范数 满足满足“相容性条件相容性条件”，则可以，则可以修正其定义为：修正其定义为： 在在“相容性条件相容性条件”中，如果中，如果 而且而且范数范数 与范数与范数 相同时，即如果有相同时，即如果有则称则称矩阵范数矩阵范数矩阵范数矩阵范数 与向量范数与向量范数与向量范数与向量范数 是相容的是相容的是相容的是相容的。证明证明：定理定理定理定理6 6 6 6 上的矩阵上的矩阵F-范数与范数与 上的向量上的向量2-2-范范数

19、相容。数相容。 根据算子范数的定义，当向量范数根据算子范数的定义，当向量范数 分别为分别为 时，我们可时，我们可诱导出诱导出相应的相容相应的相容矩阵范数矩阵范数 。设任意矩阵设任意矩阵 ，则，则1-1-范数范数单位球单位球 在在 下的下的像像中的任意向量中的任意向量 满足满足从而从而如果如果 ，则选取，则选取 ，此时由，此时由 ，得，得因此因此类似地可得，类似地可得， 实际上，实际上，这些诱导矩阵范数具有如下的这些诱导矩阵范数具有如下的表示定理表示定理。定理定理定理定理7 7 7 7 对对 中的任意矩阵中的任意矩阵 ，有，有 最大最大列和列和 最大最大行和行和 最大最大谱谱证明：证明： 所以所

20、以 是半正定是半正定Hermite矩阵矩阵,因此特征因此特征值全部为非负实数。设为值全部为非负实数。设为 并设对应的两两互相正交且并设对应的两两互相正交且2-范数都为范数都为1的特的特征向量为征向量为 ，那么，对于，那么，对于任意的单位任意的单位2-范数向量范数向量 ，必成立，必成立 由于由于因此有因此有 所以所以因此成立因此成立 另外，由于另外，由于 ，而且，而且同样给出这些范数在几何上的理解。同样给出这些范数在几何上的理解。例例例例 8 8 8 8 求矩阵求矩阵的的 范数（范数（ ），并考察对应于），并考察对应于 的三种向量范数的的三种向量范数的闭单位球闭单位球在矩阵在矩阵 作用下的效果。

21、作用下的效果。%ex502.m A=1 2;0 2; norm(A),norm(A,1),norm(A,inf) ans = 2.9208ans = 4ans = 3定理定理定理定理9 9 9 9 上的上的谱范数谱范数具有下列性质：具有下列性质：三、矩阵范数的一些性质三、矩阵范数的一些性质(1)(1)设有设有 使使 ，令令 ，则有，则有 证明证明：(2)(2)(3)(3)设有设有 使使 ，则，则 定理定理定理定理10101010 上的矩阵上的矩阵F-F-范数和谱范数都是范数和谱范数都是酉不酉不酉不酉不变的变的变的变的，即对任意酉矩阵，即对任意酉矩阵 ，恒有，恒有令令则则即即对于对于谱范数谱范数

22、的情形，利用定义即可。的情形，利用定义即可。对于对于谱范数谱范数， 这个定理的结论可以推广到这个定理的结论可以推广到列正列正交酉矩阵交酉矩阵，即，即的情形，此时仍然成立的情形，此时仍然成立利用定理利用定理9 9可以证明这个推广结论。可以证明这个推广结论。3、 范数的应用范数的应用 长度和距离在长度和距离在实分析实分析和和复分析复分析中的应中的应用，我们已经有充分认识，而范数是长度用，我们已经有充分认识，而范数是长度和距离的推广，因此和距离的推广，因此范数范数作为一种推广的作为一种推广的度量，由于其抽象性和概括性，其应用范度量，由于其抽象性和概括性，其应用范围自然也随之扩展。至少在围自然也随之扩

23、展。至少在矩阵分析矩阵分析和和数数值线性代数值线性代数领域，范数有着深刻的应用。领域，范数有着深刻的应用。一、谱半径与矩阵范数一、谱半径与矩阵范数根据矩阵的诱导范数的含义，结合特征值，根据矩阵的诱导范数的含义，结合特征值，设设 为为 的任意的任意特征对特征对，则，则从而从而这说明矩阵特征值的模都不超过它的范数这说明矩阵特征值的模都不超过它的范数。定义定义1 1设设 的特征值为的特征值为 ，称，称为矩阵为矩阵 的的谱半径谱半径。定理定理2 2对对 的任意矩阵范数的任意矩阵范数 ，恒有恒有当当 是是正规矩阵正规矩阵时，等号对时，等号对2-范数范数成立。成立。当当 是正规阵时，有是正规阵时，有特征值

24、分解特征值分解从而从而故结论成立。故结论成立。证明证明：例例例例 3 3 3 3 求矩阵求矩阵的谱半径的谱半径 %ex503.m A=-1 1 0;-4 3 0; 1 0 2;D=eig(A)； %eig函数虽然不能求出广义特征向量，但能求出所函数虽然不能求出广义特征向量，但能求出所%有特征值，这里有特征值，这里D为所有特征值构成的列向量为所有特征值构成的列向量norm(D,inf)ans = 2定理定理4 4 对对 ，存在存在 上矩阵范上矩阵范数数 ，对任意，对任意 ，恒有，恒有定理定理2 2给出了矩阵谱半径的的一个上界，那么给出了矩阵谱半径的的一个上界，那么矩阵谱半径的下界呢？矩阵谱半径的

25、下界呢？注意这里的矩阵范数与矩阵注意这里的矩阵范数与矩阵 有关。有关。 对任意矩阵对任意矩阵 ，存在，存在Jordan标准型标准型其中其中 ，证明证明：令令 ，则，则从而从而易证函数易证函数 是是 上上的矩阵范数，这里的矩阵范数，这里例例5 5 设 为 的的单位列向量位列向量 ,令令 ， 则则(1) ；(2) ；(3)(1) 因为因为 ，所以，所以(2) 因为秩因为秩 ，并且，并且 是对称矩阵，是对称矩阵，所以所以1是矩阵是矩阵 唯一的非零特征值，因此矩唯一的非零特征值，因此矩阵阵 的特征值为的特征值为 ，从而，从而(3) 二、矩阵逆和线性方程组解的扰动分析二、矩阵逆和线性方程组解的扰动分析例

26、例 6 6 线性方程组线性方程组的精确解为的精确解为如果系数矩阵和常数项分别有一个如果系数矩阵和常数项分别有一个扰动扰动则则扰动后的线性方程组扰动后的线性方程组为为它的精确解为它的精确解为显然，由于原方程组本身的固有性质导致显然，由于原方程组本身的固有性质导致原始原始数据的小扰动引起解的很大变化数据的小扰动引起解的很大变化，我们称这样，我们称这样的问题是的问题是病态的病态的（敏感的敏感的）或）或不稳定的。不稳定的。下面下面定量分析定量分析系数矩阵和常数项的扰动对线性系数矩阵和常数项的扰动对线性方程组解的影响。方程组解的影响。设设非奇异非奇异线性方程组线性方程组 ，经扰动后仍有，经扰动后仍有唯一

27、解唯一解 ，即成立，即成立因此因此两边取范数，并缩放，得两边取范数，并缩放，得如果有如果有 ，则，则绝对误差估计式绝对误差估计式再由再由 ，可得，可得即即因此因此这里这里相对误差相对误差估计式估计式显然在相对误差估计式中，系数显然在相对误差估计式中，系数 反映了方反映了方程组解程组解 的相对误差对于系数矩阵的相对误差对于系数矩阵 和常数和常数项项 的相对误差的依赖程度。的相对误差的依赖程度。 越大，方程组越大，方程组解的相对误差也越大。解的相对误差也越大。定义定义7 7 对非奇异线性方程组对非奇异线性方程组 ，称数，称数为为求解线性方程组的条件数。求解线性方程组的条件数。问题是非奇异线性方程组

28、问题是非奇异线性方程组 经过扰动后经过扰动后未必有唯一解，也即未必有唯一解，也即非奇异矩阵非奇异矩阵 经过什么经过什么样的扰动后得到的矩阵样的扰动后得到的矩阵 仍然是可仍然是可逆的呢？扰动对逆矩阵又有何影响？逆的呢？扰动对逆矩阵又有何影响？由于由于两边取范数，并缩放，得两边取范数，并缩放，得因此因此下一步需要缩放下一步需要缩放 ，由于，由于假定假定 可逆可逆，两边取范数，并缩放，两边取范数，并缩放，得得因此因此令令 ，由于，由于即即两边取范数，并缩放，得两边取范数，并缩放，得如果有如果有 ，则，则下一步需要缩放下一步需要缩放 。并且并且 的任意特征值的任意特征值 ，从，从而而 的特征值的特征值

29、 均不为零，因此矩阵均不为零，因此矩阵 可逆。可逆。引理引理8 8 对对 ，若，若 ，则矩，则矩阵阵 非奇异，且非奇异，且从而由从而由引理引理8，得，得由于由于 ，将条件，将条件 修修改为改为 ，此时仍有，此时仍有绝对误差估计式绝对误差估计式即即相对误差估相对误差估计式计式定义定义9 9称数称数为为可逆矩阵可逆矩阵 关于求逆的条件数。关于求逆的条件数。定理定理10 10 设设 非奇异，且非奇异，且 。如果如果扰动矩阵扰动矩阵 满足条件满足条件则则扰动后的矩阵扰动后的矩阵 为非奇异矩阵，为非奇异矩阵，并且并且定理定理1111 设设 非奇异，且非奇异，且 。如果如果扰动矩阵扰动矩阵 满足条件满足条

30、件则非齐次线性方程组则非齐次线性方程组 经过经过扰动后的扰动后的方程组方程组 有唯一有唯一解解有唯一解有唯一解 ，并且，并且%ex504.m A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001; %扰动 k=cond(A1) %矩阵A的条件数 Ab1=A1 b1; UC1=rref(Ab1); %内置函数rref化矩阵为最简形 x1=UC1(:,3) %原方程组的解 A2=A1+dA;b2=b1+db; Ab2=A2 b2; UC2=rref(Ab2); x2=UC2(:,3) %扰动后的方程组的解 dx=x2-x1;rx=100*n

31、orm(dx)/norm(x1) %解的绝对误差和相对误差 k = 3.9206e+004 x1 = 100 -100x2 = -0.1000 1.1111rx = 100.6068%ex504.m(续续) A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001;%扰动 k=cond(A1) %矩阵A的条件数 IA1=inv(A1) %原矩阵的逆 IA2=inv(A2) %扰动后的逆 dIA=IA2-IA1; rIA=100*norm(dIA)/norm(IA1) %逆的绝对误差和相对误差 k = 3.9206e+004 IA1 = 1.0e+004 * -0.9800 0.9900 0.9900 -1.0000IA2 = 100.0000 -100.0000 -100.0000 101.0101rIA = 101.0126