《Fisher线性判别》由会员分享，可在线阅读，更多相关《Fisher线性判别（4页珍藏版）》请在金锄头文库上搜索。
1、34 Fisher 线性判别多维 Fisher 变换 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量 在以 为方向的轴上的投影的 倍。这里，视作特征空间 中的以 为分量的一个 维矢量希望所求的 使投影后，同类模式密聚，不同类模式相距较远。求权矢量 求满足上述目标的投影轴的方向 和在一维空间中确定判别规则。从另一方面讲，也是降维，特征提取与选择等问题的需要。 （R.A.Fisher，1936）下面我们用 表示待求的 。图 (3-4-1) 二维模式向一维空间投影示意图（1 ） Fisher 准则函数对两类问题，设给定 维训练模式 ，其中有 个和 个模式分属类和 类。为方便，各类的模式
2、又可分别记为 和 ，于是，各类模式均值矢量 为( 3-4-2)各类类内离差阵 和总的类内离差阵 分别为( 3-4-3)( 3-4-4)我们取类间离差阵 为( 3-4-5)作变换， 维矢量 在以矢量 为方向的轴上进行投影( 3-4-6)变换后在一维 空间中各类模式的均值为( 3-4-7)类内离差度 和总的类内离差度 为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度 越小越好，类间离差度 越大越好，根据这个目标作准则函数( 3-4-11)称之为 Fisher 准则函数。我们的目标是，求 使 最大。（2 ） Fisher 变换将标量 对矢量 微分并令其为零
3、矢量，注意到 的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令 可得 当 时， 通常是非奇异的，于是有 ( 3-4-13)上式表明 是矩阵 相应于本征值 的本征矢量。对于两类问题， 的秩为 1，因此只有一个非零本征值，它所对应的本征矢量 称为 Fisher 最佳鉴别矢量。由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为 ，于是可得式中 为一标量因子。这个标量因子不改变轴的方向，可以取为 1,于是有( 3-4-15)此时的 是使 Fisher 准则函数取最大值时的解，即是 维空间到一维空间投影轴的最佳方向，( 3-4-16)称为 Fis
4、her 变换函数 。至此可以说解决了将 维模式的分类转变为一维模式分类的问题。（3 ） Fisher 判别规则由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点。可以根据训练模式确定一个阈值 ，Fisher 判别规则为( 3-4-17)判别阈值可取两个类心在 方向上轴的投影的连线的中点作为阈值，即( 3-4-18)容易得出( 3-4-19)显然，这里 是 和 连线的中点。当考虑类的先验概率时， 、 应取下面的定义( 3-4-20) ( 3-4-21)、 可由训练模式估计( 3-4-22)这种情况下，应取以类的频率为权值的两类中心的加权算术平均作为阈值，即( 3-4-23)易得( 3-4-24)这里的 是 和 连线上以频率为比例的内分点。由上可知， 和 是等价的。从而可得 Fisher 线性判别函数为( 3-4-25)Fisher 判别规则为( 3-4-26)我们取第一种门限，可以写出具体的判别规则如下：( 3-4-27)由上可知，在使 取最大的条件下线性判别函数权矢量以及判别门限的确定即 Fisher 判别只需要一、二阶矩(或它们的估计 )。可以证明，当训练模式数 足够大时，在使 取最大的目标下，Fisher 线性判别与正态等协方差阵情况下的 Bayes 判决是等价的。上述处理问题的思想也可以应用于多类问题。
