模式特征的提取与选择

《模式特征的提取与选择》由会员分享，可在线阅读，更多相关《模式特征的提取与选择（34页珍藏版）》请在金锄头文库上搜索。

1、模式特征的提取与选择模式特征的提取与选择在一个较较完善的模式识别识别 系统统中，或 者明显显地或者隐隐含地要有特征提取与 选择选择 技术环节术环节 ，通常其处处于对对象特征 数据采集和分类识别类识别 两个环节环节 之间间， 特征提取与选择选择 方法（或质质量）的优优 劣极大地影响着分类类器的设计设计 和性能 ，它是模式识别识别 的核心问题问题 之一。模式特征的提取与选择 1 概述在实际问题实际问题 中，常常不容易找到那些 最重要的特征，或受条件限制不能对对 它们进们进 行测测量，这这就使特征选择选择 和提 取的任务务复杂杂化而成为为构造模式识别识别 系统统最困难难的任务务之一。特征提取和选择选

2、择 的基本任务务是如何从 许许多特征中找出那些最易得且有效的 特征,从而实现实现 特征空间维间维 数的压缩压缩 .模式特征的提取与选择 1 概述虽虽然特征的提取和选择选择 在模式识别识别 中 占有重要地位,但迄今没有一般方法,大 多数的方法都是面向问题问题 的.对对于不同 的模式识别问题识别问题 可以 有不同的特征提 取和选择选择 方法,而且即使对对于同一模式 识别问题识别问题 往往也可能用不同方法,所以 要对这对这 些方法作一般的评评价是困难难的.模式特征的提取与选择 1 概述模式特征并非提取得越多越好.在实际实际 工作中,往往会发现发现 当特征的数目达到 某个限度后,不但不能改善分类类器的

3、性 能,反而会使它的工作恶恶化.其原因在于 用以设计设计 分类类器的样样本数目是有限的. 为为了使模式识别识别 的结结果满满意,在增加特 征的同时时,必须须增加供学习习的样样本数量 .模式特征的提取与选择 1 概述(1)用一定数量的样样本估计计出来的参数 设计设计 Bayes分类类器时时,随着维维数的增加 要求样样本数急剧剧增加,这样这样 才能保证证一 定的错误错误 率.模式特征的提取与选择 1 概述(2)在用线线性判别别函数来划分模式空间间 时时,一般要用一组样组样 本来决定划分区域 的超平面.当增加维维数时时,样样本数应应有 更多的增加才能保持原有的超平面容 度.模式特征的提取与选择 1

4、概述(3)在邻邻近法与集群分析中,经经常应应用的 是群内离散度矩阵阵Sw,为为了使用行列式 准则则,离散度矩阵阵必须须是非奇异的,这这 就要求样样本数与群数之差应远应远 大于维维 数.模式特征的提取与选择 1 概述 几个基本概念特征形成: 根据被识别识别 的对对象产产生一组组基本特征 ,它可以是计计算出来的(当识别对识别对 象是 波形或数字图图像时时),也可以是用仪仪表 或传传感器测测量出来的(当识别对识别对 象是 实实物或某过过程时时),这样产这样产 生出来的特 征叫做原始测测量(一次测测量),原始测测量 的直接结结果或间间接结结果称为为原始特征.模式特征的提取与选择 1 概述 几个基本概念

5、特征提取:原始特征的数量可能很大,或者说样说样 本 是处处于一个高维维空间间中,通过过映射(或 变换变换 )的方法可以用低维维空间间来表示 样样本,这这个过过程叫特征提取.映射后的 特征叫二次特征,它们们是原始特征的某 种组组合.变换变换 A:YX称为为特征提取器.模式特征的提取与选择 1 概述 几个基本概念特征选择: 从一组组特征中挑选选出一些最有效的特 征以达到降低特征空间维间维 数的目的,这这 个过过程叫特征选择选择 .有时时特征提取和选择选择 并不是截然分开 的，在具体的模式识别问题识别问题 中也可以 结结合使用。模式特征的提取与选择 2 类别可分性判据把一个高维维空间变换为间变换为

6、低维维空间间的映 射有很多，哪种映射对对分类类最有利， 需要一个比较标较标 准，即类别类别 可分性判 据，这这些判据应应能反映各类类在特征空 间间中的分布情况，应应能刻画各特征分 量在分类识别类识别 中的重要性或贡贡献。以分类类器的错误错误 概率做为标为标 准有难难度 .模式特征的提取与选择 2 类别可分性判据l与错误错误 概率(或其界限)有单调单调 关系, 使判据取最值时值时 ,错误错误 概率也较较小. l当特征相互独立时时,判据具有可加性. l判据须须有度量特性(非负负性,对对称性 ). l自身有单调单调 性(加入新特征时时,判据 不减小).类别类别 可分性判据应满应满 足的几个要求:模式

7、特征的提取与选择 2 类别可分性判据l点与点的距离 l点到点集的距离 l类类内距离(类类内均方欧氏距离d2) l类类内离差矩阵阵Sw(d2=TrSw) l两类类之间间的距离 l各类间类间 的总总均方距离 l总总的类类内类间类间 及总总体离差矩阵阵ST=Sw+ ST基于几何距离的可分性判据模式特征的提取与选择 2 类别可分性判据lJ1=TrSw-1SB lJ2=TrSB/TrSw lJ3=TrSw-1ST lJ4=|ST|/|SW|=|Sw-1ST|基于几何距离的可分性判据l上述各种判据存在关联联性,其中一些 判据如J1,J4具有非奇异线线性变换变换 不变变 性.它们们本质质相似,但性能可能不同

8、.模式特征的提取与选择 2 类别可分性判据基本原则则 lJp非负负. l当两类类概率密度函数完全不重叠时时 ,Jp趋趋于无穷穷大. l当两类类概率密度函数完全重合时时,Jp 为为零. l相对对于两个概率密度具有对对称性.基于类类概率密度函数的可分性判据模式特征的提取与选择 2 类别可分性判据判据举举例 lBhattacharyya判据 JB=-lnSp(x|w1)p(x|w2)1/2dx lChernoff判据 JC=-lnSp(x|w1)sp(x|w2)1-sdx l散度(总总的平均可分性信息) JD=I12(x)+I21(x)基于类类概率密度函数的可分性判据模式特征的提取与选择 2 类别可

9、分性判据I12(x)=E1lnp(x|w1)/p(x|w2)基于类类概率密度函数的可分性判据I21(x)=E2lnp(x|w2)/p(x|w1)模式特征的提取与选择 2 类别可分性判据原理：选择选择 使后验熵验熵 最小的那些特征 用于分类识别类识别 。基于后验验概率的可分性判据JH=Ex-Sp(wi|x)logp(wi|x)JHs=ExHs(p1,p2,pc)Hs=(21-s-1)S(pis)-1 pi=p(wi|x)模式特征的提取与选择 3 基于可分性判据进行变换的特征提取Sw和SB分别为别为 原始特征空间间中类类内和 类间类间 离差矩阵阵,Sw*和SB*分别为变换别为变换 特 征空间间中类

10、类内与类间类间 离差矩阵阵基于离差矩阵阵的特征提取Sw*=WTSwW SB*=WTSBW模式特征的提取与选择 3 基于可分性判据进行变换的特征提取若W为为非奇异矩阵阵,则则 J1=TrSw-1SB 是不变变的.基于离差矩阵阵的特征提取因此,只需求出Sw-1SB的所有特征值值, 选选其较较大的d个,以其特征向量为为列向 量构造W即可使J1最大.模式特征的提取与选择 3 基于可分性判据进行变换的特征提取由于Sw是对对称正定矩阵阵,故有非奇异矩 阵阵A,使ATSwA=I,取U=AV,其中V为标为标 准 正交矩阵阵,则则U为为非奇异矩阵阵,且使 UTSTU为对为对 角阵阵.UTSwU为单为单 位阵阵.

11、 从而可知U及UTSTU分别为别为 Sw-1ST的特征 矢量矩阵阵及特征值对值对 角阵阵. 进进而可得J4为为特征值值的某种和,同理只 需要针对较针对较 大的特征值值构造W即可.基于离差矩阵阵的特征提取模式特征的提取与选择 4 最佳鉴别矢量的提取前面依据类类内,类间类间 及总总离差矩阵阵构 造可分性判据求最佳变换变换 矩阵阵,其特点 是整个最佳坐标标系在形式上是一起求 出的,但也可以用单单个分量的类间类类间类 内 距离比作为为准则则,逐个求出最佳坐标标系 的各轴轴矢量.模式特征的提取与选择 4 最佳鉴别矢量的提取Fisher鉴别鉴别 矢量及鉴别鉴别 平面在设计设计 分类类器时时,在适当保证证分

12、类识类识 别别正确率的条件下,为简为简 便或为为可实实 现现性,常要求降低维维数,或有时为时为 便于 显显示,常首先要求模式的维维数是1或2, 这这就要求将目标标的原始n维维特征矢量映 射成一维标维标 量或二维维矢量.模式特征的提取与选择 4 最佳鉴别矢量的提取Fisher鉴别鉴别 矢量及鉴别鉴别 平面要将高维维模式映射成二维维模式,需要两 个正交矢量.这时这时 除了Fisher鉴别鉴别 矢量 u1外,还还要求出第二个矢量u2.因此可用 u1Tu2=0作为约为约 束条件使JF(u2)最大,即 Z=max(u2TSBu2)/(u2TSwu2)-ku1Tu2模式特征的提取与选择 4 最佳鉴别矢量的

13、提取最佳鉴别鉴别 矢量集设设u1是使JF(ui)取最大的Fisher最佳鉴鉴 别别矢量,且u1已规规格化,其模长为长为 1,则则 单单位Fisher最佳鉴别鉴别 矢量u1是F- Sammon最佳鉴别鉴别 矢量集中的第一个矢 量.该该矢量集中的第i个鉴别鉴别 矢量ui通 过过解一个最优优化问题问题 而求得.模式特征的提取与选择 4 最佳鉴别矢量的提取最佳鉴别鉴别 矢量集MaxJF(ui)s.t. uiTuj=0, j=1,2,i-1.|ui|=1令U=(u1,u2,ur),则变换则变换 y=UTx 称为为F-S变换变换 (FST).Fisher是r=2特例.模式特征的提取与选择 5 离散K-L变

14、换 Karhunen-Loeve变换变换取变换变换 函数:y=g(x).为为使变换变换 后的特 征还还能很好的体现现原有特征,作估计计量 x(m)=SmyiWi+Sm+1biWi x(m)=x-x(m) e2(m)=E|x(m)|2 对对于不保留的那些分量,应应当用它们们的 平均值值来代替,就能得到最佳的bi值值.模式特征的提取与选择 5 离散K-L变换 Karhunen-Loeve变换变换为为了进进一步得到Wi,还还需要在WiTWi=1的 条件下,找出使e2(m)最小的Wi.为为此使 用拉格朗日乘数法即可. 每个特征在代表x方面的有效性由与它相 对应对应 的特征值值所确定.尽可能保留特征值值

15、 大的分量.x的协协方差矩阵阵的特征向量使 拉格朗日函数在正交归归一的基向量的所 有选择选择 中最小.模式特征的提取与选择 6 特征选择中的直接挑选法 次优优搜索法单单独最优优的特征选择选择 法计计算各特征单单独使用时时的判据值值并以递递 减排序,从而选选取前d个分类类效果最好的 特征即可.即使各特征是统计统计 独立的,该该法选选出的特 征也不一定是最优优的特征组组合.模式特征的提取与选择 6 特征选择中的直接挑选法 次优优搜索法增添特征法(顺顺序前进进法SFS)是一种最简单简单 的自下而上的搜索方法,每 次从未选选入的特征中选择选择 一个特征,使它 与已选选入的特征组组合在一起时时J最大,直

16、 到选选入特征数目达到指定的维维数为为止.一般好于单单独最优选择优选择 法,主要缺点是某 特征一旦选选入,就无法删删除.该该法可推广.模式特征的提取与选择 6 特征选择中的直接挑选法 次优优搜索法剔减特征法(顺顺序后退法SBS)是一种最简单简单 的自上而下的搜索方法,从 全部特征开始每次剔除一个特征,所剔除 的特征应应使尚保留的特征组组合的J最大.计计算量大于增添特征法,可推广.模式特征的提取与选择 6 特征选择中的直接挑选法 次优优搜索法增减法(l-r法)为为克服SFS和SBS中某特征一旦选选入或剔 除就不能再考虑虑的缺点,可在选择过选择过 程中 加入局部回溯,例如在第k步可先用SFS对对 已选选入的k个特征再一个一个地加入新特 征到k+l,然后用SBS一个个地剔除r个.可推广.模式特征的提取与选择 6 特征选择中的直接挑选法 最优优搜索法分支定界法(BAB算法)原理