矩阵理论与图像处理

《矩阵理论与图像处理》由会员分享，可在线阅读，更多相关《矩阵理论与图像处理（9页珍藏版）》请在金锄头文库上搜索。

1、矩阵理论应用 1 矩阵理论与图像处理 陈清早 ( 电信科学技术研究院PT1400158 ) 摘要：特征值，特征向量在矩阵理论中有着非常重要的地位。不管是求解特征方程，谱分解， 奇异值分解等都用到了特征值，特征向量。它们都是处理生活中很多事情的基础。而在这个信息高速发 展的时代，图像处理及应用，也对我们的生活起着非常重要作用。那么特征值，特征向量与图像处理有 着怎样的联系呢？这篇报告就是简单陈述它们之间的关系。 关键字：特征值；特征向量；图像处理 1 引言 矩阵是高等代数学中的常见工具， 也常 见于统计分析等应用数学学科中。在物理 学中，矩阵于电路学、力学、光学和量子 物理中都有应用；计算机科学

2、中，三维动 画制作也需要用到矩阵。 矩阵的运算是数 值分析领域的重要问题。将矩阵分解为简 单矩阵的组合可以在理论和实际应用上简 化矩阵的运算。而矩阵中的特征值和特征 向量是在矩阵理论的研究过程中有着非常 重要的意义。 21 世纪是一个充满信息的时代，图像 作为人类感知世界的视觉基础，是人类获 取信息、表达信息和传递信息的重要手段。 图像处理一般指数字图像处理。既然是数 字图像就可以考虑是不是可以用矩阵的方 法来处理一些问题。在这里，我们就简单 的了解下矩阵理论中很重要的两个知识 点，特征值和特征向量在图像处理中的应 用。下面就让我们一起来看看矩阵特征值 与特征向量在图像处理中是如何发挥它们 的

3、作用的。首先我们来了解下此篇报告中 将要涉及的矩阵基本知识：特征值、特征 向量。 2特征值，特征向量 变换定义： 设是阶方阵，若有数 和非零向量，使得。称数是 的特征值，非零向量是对应于特征值 的特征向量。 特征值和特征向量的求法： 矩阵理论应用 2 由得， 并且由于 是非零向量，故行列式， 即 （称之为的特征方程）由此可解出个 根（在复数范围内），这就是 的所有特征值。 根据某个特征值，代到线性方程 组解出非零解，这 就是对应于特征值的特征向量。 特征值和特征向量的性质： (1).， (2).若是的特征向量，则对， 也是的特征向量。 (3).若是的特征值， 则是的特征 值，从而是的特征值。

4、(4).是的个特征值， 为依次对应的特征向量，若 各不相同，则线性 无关。 3图像中的应用 了解了这些有关特征值和特征向量的 基本知识后，其实，大家都很难想象这些 与图像处理有什么联系。其实，我自己也 不是很清楚，我也是看了别人的理论讲解， 才略微理解了一二。让我们一起去了解下。 根据特征向量数学公式定义，矩阵乘 以一个向量的结果仍是同维数的一个向 量，因此，矩阵乘法对应了一个变换，把 一个向量变成同维数的另一个向量，那么 变换的效果是什么呢？这当然与方阵的构 造有密切关系，比如可以取适当的二维方 阵，使得这个变换的效果就是将平面上的 二维向量逆时针旋转 30 度，这时我们可以 问一个问题，有

5、没有向量在这个变换下不 改变方向呢？可以想一下，除了零向量， 没有其他向量可以在平面上旋转 30度而不 改变方向的，所以这个变换对应的矩阵(或 者说这个变换自身)没有特征向量(注意： 特征向量不能是零向量)，所以一个特定的 矩阵理论应用 3 变换特征向量是这样一种向量，它经过这 种特定的变换后保持方向不变，只是进行 长度上的伸缩而已(再想想特征向量的原 始定义 Ax=kx, kx 是方阵 A 对向量 x 进行 变换后的结果，但显然 cx 和 x 的方向相 同)。 这里给出一个特征向量的简单例子， 比如平面上的一个变换，把一个向量关于 横轴做镜像对称变换，即保持一个向量的 横坐标不变，但纵坐标取

6、相反数，把这个 变换表示为矩阵就是1 0;0 -1（分号表 示换行），显然1 0;0 -1*a b=a -b （上标表示取转置），这正是我们想要的 效果，那么现在可以猜一下了，这个矩阵 的特征向量是什么?想想什么向量在这个 变换下保持方向不变，显然，横轴上的向 量在这个变换下保持方向不变(记住这个 变换是镜像对称变换，那镜子表面上(横轴 上)的向量当然不会变化)，所以可以直接 猜测其特征向量是a 0（a 不为 0），还 有其他的吗？有，那就是纵轴上的向量， 这时经过变换后，其方向反向，但仍在同 一条轴上，所以也被认为是方向没有变化， 所以0 b（b 不为 0）也是其特征向量。 特征向量有什么具

7、体的物理意义? 例 如一个驻波通过一条绳子，绳子上面的每 个点组成一个无穷维的向量，这个向量的 特征向量就是特征函数 sin(t)，因为是时 变的，就成了特征函数。每个点特征值就 是每个点在特定时刻的 sin(x+t)取值。再 如，从太空中某个角度看地球自转，虽然 每个景物的坐标在不断的变换，但是这种 变换关于地球的自传轴有对称性，也就是 关于此轴的平移和拉伸的坐标变换不敏 感。所以地球自转轴，是地球自转这种空 间变换的一个特征向量。Google 的 PageRank，就是对 www 链接关系的修正邻 接矩阵的，主要特征向量的投影分量，给 出了页面平分。有什么特性呢? AB 和 BA 有 相同

8、的特征向量-设AB的特征向量为x， 对应的特征值为 b，则有(AB)x = bx，将上 式两边左乘矩阵 B，得 B(AB)x = (BA)(Bx) = b(Bx)，故 b 为 BA 的特征值，对应的特 征向量为 Bx。反之亦然。 矩阵理论应用 4 综上所述，特征值只不过反映了特征 向量在变换时的伸缩倍数而已，对一个变 换而言，特征向量指明的方向才是很重要 的，特征向量有如此的作用，那么特征值 又有什么作用呢。下来我们了解 Spectral theorem（谱定律）。 Spectral theorem 的核心内容如下： 一个线性变换（用矩阵乘法表示）可表示 为它的所有的特征向量的一个线性组合，

9、其中的线性系数就是每一个向量对应的特 征值，写成公式就是： 我们知道，一个变换可由一个矩阵乘法表 示，那么一个空间坐标系也可视作一个矩 阵，而这个坐标系就可由这个矩阵的所有 特征向量表示，用图来表示的话，可以想 象就是一个空间张开的各个坐标角度，这 一组向量可以完全表示一个矩阵表示的空 间的“特征”，而他们的特征值就表示了 各个角度上的能量（可以想象成从各个角 度上伸出的长短，越长的轴就越可以代表 这个空间，它的“特征”就越强，或者说 显性，而短轴自然就成了隐性特征），因 此，通过特征向量/值可以完全描述某一几 何空间这一特点，使得特征向量与特征值 在几何（特别是空间几何）及其应用中得 以发挥

10、。 所谓的特征矩阵，就是原矩阵如何与 一个 x 维的数量矩阵相似。Lamda(i)说明 了相似投影与一个 x 维线性空间的第 i 维 坐标轴，Lamda(i)是放缩比例。Lamda(i) 之间的顺序是不重要的，因为坐标轴之间 的交换是初等线性变换，不影响代数拓扑 的性质。特征向量 xi 表明 A 如何把线性组 合投影到一个坐标轴上。所谓的特征向量， 就是一组正交基集合。 在图像处理的问题域中，把图像看成 矩阵本身，那么图像的分类问题就是同类 矩阵被认为有相同或者代数近似的“不变 量“。显然，“同类“是一个主观假设划定的 类，而不是通过计算来“确定“的类。这导 致了一个问题，所谓的不同类型，其意

11、义 是对于人的主观理解能力而言，是先验的， 不是通过计算得到的后验，它本身不代表 任何数理逻辑上的可判定信息。如果以矩 阵的特征向量或者特征值矩阵作为分类的 矩阵理论应用 5 信息，没有任何证据能够避免不同的“类“ 的矩阵能够有更加近似的特征值。所谓的 矩阵分解方法，类内最小距离方法 (Fisher)，都有一个令人不愉快地前提， 那就是本身就要保证类内的矩阵，其欧式 距离足够小-这个欧式距离的大小往往 又和人的几何拓扑直观不符)。由于矩阵本 身不具有预定义的拓扑学信息，那么同类 图像间欧式距离增加的时候，无法做到良 好的分类。 矩阵论在图像中的应用比如有 PCA 方 法，选取特征值最高的 k

12、个特征向量来表 示一个矩阵，从而达到降维分析+特征显示 的方法。一般而言，这一方法的目的是寻 找任意统计分布的数据集合之主要分量的 子集。相应的基向量组满足正交性且由它 定义的子空间最优地考虑了数据的相关 性。将原始数据集合变换到主分量空间使 单一数据样本的互相关性降低到最低点。 一下是其运用的原理： 设 sjxj,.,1: 是 N 维向量的数据集 合，m 是其均值向量： 有了特征向量集合，任何数据 x 可以投影 到特征空间（以特征向量为基向量）中的 表示： 相反地， 任何数据 x 可以表示成如下的 线性组合形式： 如果用 A 代表以特征向量为列向量构成的 矩阵，则 AT 定义了一个线性变换：

13、 上述去相关的主分量分析方法可以用于降 低数据的维数。通过略去对应于若干较小 特征值的特征向量来给 y 降维。例如，丢 kl kl uu klk T l ,0 ,1 , T N T kk yyyymxuy),.,(,)( 21 s k kku ymx 1 kk s j T jjx jj j s j j u dd s C mxd d x s m 向量及满足下列条件的特征特征值求出其从大到小排列的 协方差矩阵是： 是：差别向量 1 1 1 1 矩阵理论应用 6 弃底下 N-M 行 上述去相关的主分量分析方法可以用于降 低数据的维数。通过略去对应于若干较小 特征值的特征向量来给 y 降维。例如，丢

14、弃底下 N-M 行得到 NM 的矩阵 B，并为简 单起见假定均值 m=0，则有： 它只是被舍弃的特征向量所对应的特 征值的和。通常，特征值幅度差别很大， 忽略一些较小的值不会引起很大的误差。 具体的说，求特征向量的关系，就是 把矩阵 A 所代表的空间，进行正交分解， 使得 A 的向量集合可以表示为每个向量 a 在各个特征向量上面的投影长度。例如 A 是 m*n 的矩阵,nm，那么特征向量就是 m 个(因为秩最大是 m)，n 个行向量在每个特 征向量 E 上面有投影，其特征值 v 就是权 重。那么每个行向量现在就可以写为 Vn=(E1*v1n,E2*v2n.Em*vmn)，矩阵变成 了方阵。如果

15、矩阵的秩更小，矩阵的存储 还可以压缩。再: 由于这些投影的大小代 表了 A 在特征空间各个分量的投影，那么 我们可以使用最小 2 乘法，求出投影能量 最大的那些分量，而把剩下的分量去掉， 这样最大限度地保存了矩阵代表的信息， 同时可以大大降低矩阵需要存储的维度。 上述方法是图象数据压缩的数学基础 之一，通常被称为 Principal Component Analysis (PCA)或 Karhunen-Loeve (K-L) 变换。 K-L 变换的核心过程是计算特征值和 特征向量，有很多不同的数值计算方法。 N x T y T ACAC AAymx mxAy 0 0 ( )( 1 ：变换后的协

16、方差矩阵为 是正交矩阵） N x T y T ACAC AAymx mxAy 0 0 ( )( 1 ：变换后的协方差矩阵为 是正交矩阵） N Mk k T MSE yBxx Bxy 1 为：来近似。近似的均方差仍可通过而 的特征向量。就是可见 得到上式两边左乘 的特征向量维考虑 其中维 T xi iii T iii T i T s T x AACAv AvAvAA A vAvA vssAA ddANNAAC )( ),.,()( 1 矩阵理论应用 7 一种常采用的方法是根据如下的推导： 由于通常 sN，这种方法将求高阶矩 阵的特征向量转化为求较低阶矩阵的特征 向量的过程在图象数据分析中是很实用 的。 K-L 变换是图象分析与模式识别中的 重要工