《《范数与极限》PPT课件》由会员分享，可在线阅读，更多相关《《范数与极限》PPT课件（59页珍藏版）》请在金锄头文库上搜索。
1、第6章 范数与极限 （ norm and limit） 理解向量范数、矩阵范数的概念; 掌握几种常用的范数； 理解范数等价的定义，了解矩阵的谱半径及其性质。了 解矩阵序列与极限的概念。 了解矩阵的幂级数并掌握敛散性的基本判别方法。 对于n 维线性空间，定义了内积以后，向量就有了长度（ 大小）、角度、距离等度量概念，这显然是3维现实空间中 相应概念的推广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。 1 向量范数 定义1：设V 是数域P上的线性空间， V， 表 示以为自变量的的非负实值函数，如果它具有下列 性质： （3）三角不等式：即对任意两个向量，V，恒有 (1) 非负性：当 0
2、, 0，当=0时，=0 (2) 齐次性：即对任何实数kP，V， 则称为向量的范数，并称定义了范数的空间为赋范线性空间 Cn中几个常用范数： （1）1-范数 （2）2-范数 （3）-范数 设x = (x1, x2, xn)TCn,则在Cn上定义范数 关于p-范数 定理1 Holder不等式 定理3 对任意向量x，由（*）式定义的|x|p是向量范 数，且有 1-范数,2-范数,-范数都是p-范数的特殊情形； 定理2 Minkowski不等式 （*） 几何意义: 对任意 ,对应于四种范数1,2,p的闭 单位圆 |x|=1 的图形分别为 注：内积空间定义的向量长度等于这里的2-范数，称为由内积 导出的
3、范数，但范数不一定都是由内积导出的。 由已知的范数构造新范数： 定理4 设| 是Cm上的向量范数， ACmn且rank(A)=n,则 由 |x| = |Ax|， xCn 所定义的非负函数|是Cn上的向量范数。 构造新范数 定理5：有限维线性空间V上的任意两个向量范数等价。 称范数|x| ，|x| 等价。 定义2：在n维线性空间V上定义两个向量范数|x| ，|x| ，若存在两个正常数 M 与 m ( Mm ) 使得对一切xV， 注 这个结论对无限维未必成立。另外，根据等价性，处理 向量问题（例如向量序列的敛散性）时，我们可以基于一种 范数来建立理论，而使用另一种范数来进行计算。 等价范数 对常用
4、范数，容易验证下列不等式： 例1 计算C4的向量x=(3i,0,-4i,-12)T 的1,2,范数。 解：|x|1=|3i|+|-4i|+|-12|=19 |x|2=(xHx)1/2=(3i)(-3i)+(-4i)(4i)+(-12)21/2=13 |x|=max(|3i|,|0|,|-4i|,|-12|)=12 注：在同一线性空间中,不同定义的范数大小可能不同 对任意，V，定义与之间的距离为 d(，)=|-| 称为由范数|决定的距离。 常用距离测度包括: 欧氏距离 Manhattan(曼哈顿)距离 Chebyshev(切比雪夫)距离 距离 例（模式识别中的模式分类问题） 模式分类问题指的是根
5、据已知类型属性的观测样本的 模式向量s1 ,sm，判断未知类型属性的模式向量x归属于哪 一类模式。其基本思想是根据x与模式样本向量si的相似度 大小作出判断。 最简单的方法是用两向量之间的距离来表示相似度，距离 越小，相似度越大。最典型的是Euclidean距离: 定义4 设x(k)是Cn中的向量序列，其中 x(k)=(x1(k)，x2(k)，,xn(k)T,如果当k时，x(k)的每一个分量 xi(k)都有极限xi(i=1,2,n),则称向量序列x(k)是收敛的，并 且向量x=(x1，x2，,xn)T称为x(k)的极限，记为 注 不同的向量范数可能具有不同的大小，但在各种范数下， 向量序列的收
6、敛问题却表现出简洁性和一致性。 向量序列的极限 定理3：向量序列xk依坐标收敛于x*的充要条件是 向量序列依范数收敛与依坐标收敛是等价的。 注：若赋范线性空间中任一收敛的向量序列的极限仍属于 此赋范线性空间，称此空间为完备的赋范线性空间或 Banach空间。 我们常根据不同的要求选择一种方便的范数来研究向量 序列的收敛性问题。 1. （广义）矩阵范数 定义1（广义）矩阵范数 设ACmn，定义一个实值函数|A|，若满足： (1) 非负性：|A|0，且|A|=0当且仅当A=0； (2) 齐次性：|A|=| |A|，C； (3) 三角不等式：|A+B|A|+|B|，A,B Cmn; 则称|A|为A的
7、广义矩阵范数。 2 矩阵范数 例1 对于A=(aij)Cmn, 都是广义矩阵范数， 称为Frobenius范数，简称为F-范数。 定理1（等价性定理）：| 与| 是Cmn,上的矩阵范数， 则存在仅与| ，|有关的正数d1 ，d2 ， 使得ACmn ， 即| 与|等价。 2.相容矩阵范数 考虑到矩阵乘法运算的重要性，加入相容性条件。 定义2 对任意两个n阶矩阵A、B，有 则称矩阵范数|是相容范数。 定义2包含了矩阵范数与向量范数的相容性定义： 例如矩阵的F-范数与向量的Euclid范数相容： 即 |Ax|2|A|F |x|2 例1中的m1-范数，F-范数都是相容范数； 注意，m不具备相容条件；
8、定理4：设| 是Cmn上的相容矩阵范数，则在Cn存在与之相 容的向量范数。 矩阵不仅仅是向量，它还可以看成变换或算子。 实 际中，从算子或变换的角度来定义范数更加有用。 下面对给定的向量范数，定义与之相容的矩阵范数 3.算子范数 定义3：设| 与| 分别是Cm与Cn上的两个向量范数， 对ACmn ，令 则|,是Cmn上的矩阵范数，且和| 与|相容， 即|AX| |A|, |x| 称该矩阵范数为Cmn上的算子范数或由向量范数| 与| 诱导出的矩阵范数。 定理5 Cnn的算子范数是相容矩阵范数； 定理6：设n 阶方阵A = (aij)nn，则 （）与 相容的矩阵范数 列和-范数 （）与 相容的矩阵
9、范数 谱范数 （）与 相容的矩阵范数 行和范数 即矩阵的1-范数，谱范数，-范数都是由相应的向量范数导 出的矩阵范数。 注：矩阵的m1-范数，m-范数，F-范数不是算子范数( 可由单位矩阵验证),但F-范数的优点是当A左乘或右乘 酉矩阵后F-范数的值不变（酉不变性），所以F-范数也 是常用的范数之一. 注2：谱范数虽然不便于计算，但它有很多好性质： 对于m阶酉矩阵U和n阶酉矩阵V，有 |UAV|2=|A|2 （5） 例 S=xP2 | |x|p=1 在矩阵 作用下的效果分别为 注：矩阵范数和特征值有个很重要的关系 定理7 对任意的矩阵ACnn，总有 (A)|A| 其中，(A)是A的谱半径。 即
10、A的谱半径不会超过A的任何一种范数。 计算 ， ， 和 。 解 例1 因为 所以 补充：Hilbert空间 定义 完备的内积空间V称为Hilbert空间，记作H 即内积空间V按距离 是完备的，亦是Banach空间。 完备空间：一个度量空间中的任何Cauchy列都收敛在该空间 内，称该空间是完备的； 直观上讲，一个空间完备就是指“没有孔”且“不缺皮”，两者 都是某种“不缺点”。没有孔是指内部不缺点，不缺皮是指边界 上不缺点。 设xn是度量空间中的向量序列，如果对 于任意的0，存在自然数N，当m,nN时 ，d(xm,xn)，称xn是一个Cauchy列。 补充：Hilbert空间 Hilbert空间
11、是有限维欧几里得空间向无穷维的推广；完备性 使得微积分中的大部分概念都可以无障碍地推广到希尔伯特空 间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立 叶级数和傅立叶变换提供了一种有效的表述方式。 举例 例1 在n维（实或复数）向量空间Rn中， 范数 按范数是完备的内积空间，即Hilbert空间。 定义内积 在 中， 定义内积 （满足三条公理） ，则 按范数是完备的内积空间Hilbert空间 例2 范数 L2a,b指的是平方可积函数的集合，按照函数的加法和数 乘构成线性空间：其一组基最常用的是三角函数系 例3 在 定义内积 （满足三条公理） l 2是Hilbert空间。称为平方可和空间 范
12、数 是内积空间U中的标准正交基 则对于xU ，x在M上的投影 并且 标准正交基的性质 1.设 通常称 x0的长度 为Bessel不等式。 即x在M上的投影 2.推广到无穷维： 是U中的标准正交基，则对xU有设 3.最佳逼近定理 设设 是U中的标标准正交基， xU， 则对则对 于任意 一组组数， 恒有 （*） 该定理说明：U中的任意元x，当用 作有限维线性组合去逼近时，以 为最好逼近元，其中线性组合系数(x,ei ) 可见在有限维线性子空间M中求U中x的最佳逼近元等同于 求投影。 称为Fourier系数。 标准正交基的完全性及完备性 是内积空间U中的标准正交基 , 当且仅当时， 则称L=ei是完
13、全的。 1.定义 设 （1）若对于xU 此式称为巴塞弗（Parseval）等式，也称为广义“商高定理” （2）若对于xU，都有 则称L=ei是完备的。 定理2 H空间中任意两个完全标准正交基 和 具有相同的基 之间存在一一对应的关系）。（即 定理3 无穷维H空间可分的H中存在完全标准正交基。 注：H可分：在H中存在可数子集D，使得H中的每个元素都 是D中元素序列的极限。 定理4 无穷维可分的H空间必与l 2空间线性及内积同构。 即：存在H到l 2的一一映射 ，使其保持线性运算及 内积相等，即 例如：可取 则是由H到l 2的一一映射，并且H与l 2线性及内积同构。 特别的，当H中的完全标准正交基
14、为有限集 时，则H与R n同构，可取映射 由此可知，欧氏空间R n可看作有限维H空间的模型，平方可 和空间l 2可以看作无限维H空间的模型。从而把对可分的H空 间的研究转化为对Rn或l 2的研究。 例如： 是可分的H空间，要研究 中的函数，只要 研究该函数的傅立叶系数就够了。 根据模式识别理论，低维空间线性不可分的模式通过 非线性映射到高维特征空间则可能实现线性可分，但是 如果直接采用这种技术在高维空间进行分类或回归，则 存在确定非线性映射函数的形式和参数、特征空间维数 等问题，而最大的障碍则是在高维特征空间运算时存在 的“维数灾难”。采用核函数技术可以有效地解决这样问 题。 SVM 设x,z
15、X,X属于R（n）空间,非线性函数实现输入空间X 到特征空间F的映射,其中F属于R（m）,nm。根据核函 数技术有： K(x,z) = (1) 其中：为内积,K(x,z)为核函数。从式(1)可以看出，核 函数将m维高维空间的内积运算转化为n维低维输入空间 的核函数计算，从而巧妙地解决了在高维特征空间中计 算的“维数灾难”等问题，从而为在高维特征空间解决复 杂的分类或回归问题奠定了理论基础。 如何定义K(x,z)？ mercer定理：充要条件K(x,z)是对称半正定矩阵 由于n阶矩阵可以看成nn向量，所以矩阵序列的收敛问题可 以和向量序列的收敛问题一样考虑。 3 矩阵序列与矩阵级数 定义1 设矩阵序列A (k) ，其中 如果mn个数列 都收敛，则称矩 阵序列 A (k)
