《高光谱数据降维与可分性准则高级课堂》由会员分享，可在线阅读，更多相关《高光谱数据降维与可分性准则高级课堂（51页珍藏版）》请在金锄头文库上搜索。
1、武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感高光谱遥感高光谱遥感第四章第四章 高光谱数据处理高光谱数据处理第四章 高光谱数据处理主要内容 高光谱数据的特征选择与提取 高光谱特征参量化 高光谱遥感影像分类与光谱匹配 混合光谱1学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感第第1 1节节 高光谱数据降维与可分性准则高光谱数据降维与可分性准则 武汉大学遥感信息工程学院武汉大学遥感信息工程学院武汉大学遥感信息工程学院武汉大学遥感信息工程学院 龚龚龚龚 龑龑龑龑高光谱遥感高光谱遥感第四章第四章 高光谱数据处理高光谱数据处理2学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的
2、降维问题二、类别可分性准则三、基于几何距离的可分性准则四、基于类的概率密度的可分性准则第四章第四章第四章第四章 第第第第1 1节节 高光高光高光高光谱谱数据降数据降数据降数据降维维与可分性准与可分性准与可分性准与可分性准则则3学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感高光谱分辨率的影响 在给定的波长区间内，高的光谱分辨率导致影像波段数众多、连续。 一方面，高光谱遥感的核心优势是反映光谱特征的细微差异；另一方面众多的波段数目给数据处理带来新的问题。一、高光谱数据的降维问题1.1高光谱数据的高维特征4学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感波谱空间与光谱空间波段数众多导致
3、光谱空间光谱空间维数的增多高光谱高光谱多光谱多光谱灰灰度度值值灰灰度度值值一、高光谱数据的降维问题1.1高光谱数据的高维特征波段数众多导致波谱曲线波谱曲线信息的丰富“维数”是指光谱空间的维数5学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 高光谱影像属于高维空间数据，已有的研究结高光谱影像属于高维空间数据，已有的研究结果表明，这种数据有许多不同于低维数据的果表明，这种数据有许多不同于低维数据的分布特分布特性性，这些特性决定了人们在对高光谱影像分析时应，这些特性决定了人们在对高光谱影像分析时应采用不同策略和方法。采用不同策略和方法。一、高光谱数据的降维问题1.1高光谱数据的高维特征6学习
4、幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感1.信息冗余大 波段数量多，但并非每个波段在任何时候都是有用信息。波段之间的相关性导致信息冗余很大，尤其是相邻波段之间的相关性很强。一、高光谱数据的降维问题1.2高维特征带来的新问题 例如：对于有 N个波段的高光谱数据来讲，当前应用需求是区分w1类和w2类。 如果利用任意一个波段都能达到这个目的，那么，仅取一个波段就包含了足够信息，其余N-1维特征就是多余的。7学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 根据超维立方体的体积公式，随着空间维数的增加，超立方体的体积急剧增加，并且向角部分布。 一、高光谱数据的降维问题1.2高维特征带来
5、的新问题2.超维几何体体积8学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的降维问题1.2高维特征带来的新问题2.超维几何体体积伽马函数超立方体中内切求的体积超立方体中内切求的体积与超立方体之比与超立方体之比9学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感例如：密度分析GRID算法一、高光谱数据的降维问题1.2高维特征带来的新问题2.超维几何体体积 由于体积因素影响，高维空间中数据的分布呈现出稀疏稀疏、严重不规则不规则等特点，使得常规的分析算法效果不佳。 10学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 思考：既然不同波段包含了不同光谱信息，思考：既然不
6、同波段包含了不同光谱信息，那么，在利用遥感影像分类时，是否波段越多，那么，在利用遥感影像分类时，是否波段越多，分类越精确？分类越精确？研究表明，事实并非如此研究表明，事实并非如此一、高光谱数据的降维问题1.2高维特征带来的新问题3.“维数灾难”问题11学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的降维问题1.2高维特征带来的新问题3.“维数灾难”问题12学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 这说明高光谱数据区分地类之间的能力极大地受到训练样本的限制，在分析高光谱影像时，要获得好的分类精度就需要更多的训练样本。 如果训练样本不足时，往往会出现在样本点数目
7、一定的前提下，分类精度随着特征维数的增加“先增后降”的现象，这就是所谓的Hughes”维数灾难”现象。一、高光谱数据的降维问题1.2高维特征带来的新问题3.“维数灾难”问题13学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 随着空间维数的增加，要得到同样精度的估计值将需要更多的样本数。 研究表明，对于监督分类而言，若要得到比较满意的分类结果： 一、高光谱数据的降维问题1.2高维特征带来的新问题4.高维空间中的参数估计问题 线性分类器需要的样本数与空间的维数呈线性关系呈线性关系。 对于基于二次估计量的分类器，所需的样本数与空间的维数呈平方关系呈平方关系。14学习幻灯武汉大学武汉大学 龚龑
8、龚龑高光谱遥感高光谱遥感模式识别的类别统计信息模式识别的类别统计信息向量均值和方差等向量均值和方差等 根据训练样本估算出来根据训练样本估算出来 训练样本的数目相对于训练样本的数目相对于特征空间的维数的比例特征空间的维数的比例参数估计不准确参数估计不准确分类精度较低分类精度较低多光谱图像多光谱图像高高高光谱图像高光谱图像低低一、高光谱数据的降维问题1.2高维特征带来的新问题4.高维空间中的参数估计问题因此，因此，“维数灾难维数灾难”现象可以从样本数量与数据复杂度关系理论来解释现象可以从样本数量与数据复杂度关系理论来解释分类精度较高分类精度较高参数估计较准确参数估计较准确15学习幻灯武汉大学武汉大
9、学 龚龑龚龑高光谱遥感高光谱遥感 在高维数据空间中，除了数据点分布的绝对位置以外，数据分布的形状和方向对于分类具有更加重要的影响作用。一、高光谱数据的降维问题1.2高维特征带来的新问题5.高阶统计特性16学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的降维问题1.2高维特征带来的新问题5.高阶统计特性17学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 在低维空间，只使用均值向量均值向量进行分类的结果比只使用方差信息方差信息得到的结果的精度高，说明在此种情况下，在分类过程中数据分布的位置位置比分布的形状和方向形状和方向作用要大的多，这也是人们通常遇到的情况。 但是，
10、当维数增加时，只考虑均值信息均值信息进行分类的精度并不再增加，而考虑方差信息方差信息的分类精度却随着特征维数的增加而继续增加。一、高光谱数据的降维问题1.2高维特征带来的新问题5.高阶统计特性18学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感综上所述，高维特征引起了多种问题 因此，在高光谱数据应用的特定阶段特定阶段，可以对高维数据进行降维处理，得到具有代表意代表意义义的低维光谱特征，并在低维光谱空间中进行相应分析（聚类分析）。 信息冗余大 超维几何体体积 “维数灾难”问题 高维空间中的参数估计问题 高阶统计特性一、高光谱数据的降维问题1.2高维特征带来的新问题19学习幻灯武汉大学武汉大
11、学 龚龑龚龑高光谱遥感高光谱遥感 若若 为D维空空间中的一个容量中的一个容量为N的数据集合，假的数据集合，假设其来自于其来自于维数数为D的某一的某一数据集的采数据集的采样。降。降维的目的目标是探求数据集合适是探求数据集合适的低的低维坐坐标描述，将原数据集合投影到低描述，将原数据集合投影到低维空空间，获得原数据集合的低得原数据集合的低维简洁表示。表示。一、高光谱数据的降维问题1.3高光谱降维 方法： 波段选择 特征变换20学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 注意不要走向另一个极端：降维绝对不是对高维光谱信息的舍弃舍弃，而是立足于高维数据，针对不同的使用目的目的得到相应低维数据
12、。 图书馆的书种类繁多，不同专业的同学各取所需，只选一小部分，但并不意味着其它的书是多余的。一、高光谱数据的降维问题1.3高光谱降维21学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感高光谱数据降维的方法高光谱数据降维的方法高光谱数据降维的方法高光谱数据降维的方法 波段选择 特征变换具体内容在下一讲中介绍 降维后得到的低维特征空间是否有效进行类别区分？一、高光谱数据的降维问题1.3高光谱降维22学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的降维问题二、类别可分性准则三、基于几何距离的可分性准则四、基于类的概率密度的可分性准则第四章第四章第四章第四章 第第第第1 1
13、节节 高光高光高光高光谱谱数据降数据降数据降数据降维维与可分性准与可分性准与可分性准与可分性准则则23学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感降维得到低维特征形成特征空间分布不同可分性存在差异衡量可分性？可分性判据可分性判据定量化的指标定量化的指标指导降维指导降维二、类别可分性准则2.1高光谱数据降维与类别可分性判据的关系24学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感概念：概念：从高维数据中得到了一组用来分类的特征，需要一个定量的标准来衡量特征对分类的有效性。2.2可分性准则基本概念 可分性准则二、类别可分性准则可分性准则的主要类型： 基于几何距离的可分性准则 基于概
14、率密度的可分性准则特点：特点：通过已知类别先验知识，衡量当前特征空间对类别的区分效果。25学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的降维问题二、类别可分性准则三、基于几何距离的可分性准则四、基于类的概率密度的可分性准则第四章第四章第四章第四章 第第第第1 1节节 高光高光高光高光谱谱数据降数据降数据降数据降维维与可分性准与可分性准与可分性准与可分性准则则26学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 不同的类别 不同的分布区域 类别可分性 区域可分性 区域可分性 通过几何距离来度量三、基于几何距离的可分性准则3.1基本思想27学习幻灯武汉大学武汉大学 龚
15、龑龚龑高光谱遥感高光谱遥感1.1.点与点的距离点与点的距离在维特征空间中，特征点与特征点之间的欧氏距离为：3.2几何距离可分性准则原理三、基于几何距离的可分性准则28学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感当前点与点集中每个点逐个计算距离当前点与点集中每个点逐个计算距离2.2.点与点集的距离点与点集的距离3.2几何距离可分性准则原理三、基于几何距离的可分性准则29学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感总体的均值矢量类内的均值矢量3.3.类内及总体的均值矢量类内及总体的均值矢量3.2几何距离可分性准则原理三、基于几何距离的可分性准则30学习幻灯武汉大学武汉大学 龚龑
16、龚龑高光谱遥感高光谱遥感类内均方欧氏距离定义为：类内均方距离也可定义为：3.2几何距离可分性准则原理4.4.类内距离类内距离先求出各自到类心的距离的平方，再求和两两运算，不涉及类心三、基于几何距离的可分性准则31学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 类内离差矩阵，反映类内部样本在均值周围的散布情况。（矩阵的迹）与类内均方欧氏距离的关系：3.2几何距离可分性准则原理5.5.类内离差矩阵类内离差矩阵三、基于几何距离的可分性准则32学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感两类样本之间的距离X1X2X3Y1Y2A类B类两两之间3.2几何距离可分性准则原理6.6.两类之间
17、的距离两类之间的距离三、基于几何距离的可分性准则33学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感取欧氏距离时，总的均方距离为总的样本距离两类样本之间的距离类与类两两求和3.2几何距离可分性准则原理7.7.各类总的均方距离各类总的均方距离三、基于几何距离的可分性准则34学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感第i类的离差矩阵第i类的比例A.总的类内离差矩阵3.2几何距离可分性准则原理7.7.多类情况离差矩阵多类情况离差矩阵三、基于几何距离的可分性准则35学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感第i类样本均值总体样本均值每一类只有一个代表每一类只有一个代表B.
18、类间离差矩阵3.2几何距离可分性准则原理7.7.多类情况离差矩阵多类情况离差矩阵三、基于几何距离的可分性准则36学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感任一样本 实质是样本总体的协方差矩阵 不涉及类的概念总体样本均值C.总体离差矩阵3.2几何距离可分性准则原理7.7.多类情况离差矩阵多类情况离差矩阵三、基于几何距离的可分性准则37学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感点与点的距离点到点集类内的均值矢量类内距离类内均方距离类内离差矩阵总体的均值矢量两类之间的距离总体离差矩阵各类模式之间总的均方距离如何通过几何距离衡量可分性？三、基于几何距离的可分性准则3.3判据构造
19、1.离差矩阵分析38学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感样本的散布程度样本越分散矩阵数值越大 类的内部越紧密越好 类之间越分散越好降维方案1降维方案2样本的类别信息已知越小越好越大越好情况复杂三、基于几何距离的可分性准则3.3判据构造1.离差矩阵分析39学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感原则：原则：数值的大小直接体现降维后特征空间的类别可分性。常见判据：常见判据：3.3判据构造2.依据可分性准则构造判据三、基于几何距离的可分性准则40学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感一、高光谱数据的降维问题二、类别可分性准则三、基于几何距离的可分性准则
20、四、基于类的概率密度的可分性准则第四章第四章第四章第四章 第第第第1 1节节 高光高光高光高光谱谱数据降数据降数据降数据降维维与可分性准与可分性准与可分性准与可分性准则则41学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 先验概率 后验概率 条件概率在样本集中，预先已知的某一类出现的概率P(Wi)对于样本集中的某一模式x，它属于某类Wi的概率P(Wi | x )在某一类 Wi 中， 模式x出现的概率P(x | Wi)4.1基本概念回顾四、基于概率密度的可分性准则42学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感W1 W2 P(x | W1)P(x | W2)P100%0%W2W
21、1100%W1 W2 P(x | W1)P(x | W2)P0%W1W2 各类的条件概率密度函数P(x | Wi) 重叠度越低，特征可分性越好。四、基于概率密度的可分性准则4.2概率密度分析43学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感可分性判据的设定衡量概率密度重叠度立足于基本性质：1. Jp =0 ;2. 当两类概率密度完全不重叠时，Jp 取最大值 ;3. 当两类概率密度完全重叠时，Jp 等于0 ;4. 两类概率密度具有“对称性”。四、基于概率密度的可分性准则4.3基本性质44学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 进行相关性相关性运算，实际上是对两个概率密度函
22、数进行卷积卷积运算。两个概率密度函数越重合，卷积结果越大；当二者完全重合时，相当于对p(x) 进行全概率积分，等于1；当二者完全分离时，卷积结果等于零。在开区间（在开区间（0，1）内，）内，y = -ln( x) 取值范取值范围为围为0 至至 正无穷大。（性质正无穷大。（性质1，2，3）四、基于概率密度的可分性准则4.4 Bhattacharyya判据45学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感更具一般性的判据：S=0.5时 ， Chernoff判据即为Bhattacharyya判据四、基于概率密度的可分性准则4.5 Chernoff判据46学习幻灯武汉大学武汉大学 龚龑龚龑高光
23、谱遥感高光谱遥感特征空间对特征空间对w w1 1类的可类的可分性越好分性越好特征空间对特征空间对w w2 2类的可类的可分性越好分性越好散度散度: :基于贝叶斯判决的可分性判据基于贝叶斯判决的可分性判据对于已知类别样本对于已知类别样本x x越大，我们就越有理由越大，我们就越有理由将将 x 划分至划分至w1 类类越大，我们就越有理由越大，我们就越有理由将将 x 划分至划分至w2 类类对于待分类数据对于待分类数据x x四、基于概率密度的可分性准则4.6散度判据似然比47学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感对对w1 类中的所有样本求类中的所有样本求 的期望：的期望：对对w2 类中的
24、所有样本求类中的所有样本求 的期望：的期望：四、基于概率密度的可分性准则4.6散度判据48学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感构造可分性判据如果x属于w1类，衡量w1相对w2的可分性如果x属于w2类，衡量w2相对w1的可分性满足性质1，2，3，4四、基于概率密度的可分性准则4.6散度判据49学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感四、基于概率密度的可分性准则思考： 对于多类情况下的概率密度可分性准则如何确定？ 类别两两之间可分性之和50学习幻灯武汉大学武汉大学 龚龑龚龑高光谱遥感高光谱遥感 小 结一、高光谱数据的降维问题 高维带来的新问题高维带来的新问题信息冗余
25、大、超维几何体体积、信息冗余大、超维几何体体积、“维数灾难维数灾难”问问题题高维空间中的参数估计问题、高阶统计特性高维空间中的参数估计问题、高阶统计特性二、类别可分性准则目的：衡量低维空间优劣地位：地位：降维与可分性判据的关系降维与可分性判据的关系（评价和指导）（评价和指导）二、基于几何距离的可分性准则 距离定义方式、离差矩阵、判据构造的思路判据构造的思路三、基于类的概率密度的可分性准则基于概率密度的分析思路基于概率密度的分析思路基于概率密度的可分性判据的基本性质Bhattacharyya判据、Chernoff判据、散度判据第四章第四章第四章第四章 第第第第1 1节节 高光高光高光高光谱谱数据降数据降数据降数据降维维与可分性准与可分性准与可分性准与可分性准则则51学习幻灯
