《Fisher分类器(算法及程序)》由会员分享，可在线阅读，更多相关《Fisher分类器(算法及程序)（14页珍藏版）》请在金锄头文库上搜索。
1、3.5 Fisher 分类器(Fisher Linear Discriminant)Fisher 判别法是历史上最早提出的判别方法之一，其基本思想是 将n类m维数据集尽可能地投影到一个方向（一条直线），使得类与 类之间尽可能分开。从形式上看，该方法就是所谓的一种降维处理方 法。为简单起见，我们以两类问题叫和2的分类来说明Fisher判别法 的原理，如图 3.4 所示。设数据阵为XwRNxm,叫共有%个样本，込共有N个样本，N=N+N2。两个类别在输入空间的均值向量为图 3.4, Fisher 判别法几何原理示意图“2 =1N11N2工xp X如1乞XPX P如2e Rme Rm(3.37)设有
2、一个投影方向帀=（W，w2,，wm）r e Rm,这两个均值向量在该方向的投影为“=wT“1 =丄工 wTX e R1N1 X 叭 P1“2 = WT“2 =丄乞 WTX e R122 Np2 X ew 2p2在w方向，两均值之差为 丁/、“1 - “2 二 W - “2 丿类似地，样本总均值向量在该方向的投影为 1 N “ =WT“ =E WTX e R1N=1定义类间散度(Between-class scatter)平方和SS为BSSB = N1 “ 丄 + N2 “2 - “ 1 =为 Nj & . - “ =N1 F “1 -+ N 2=w Tn1 (“ 1 - “ )“i- “ &
3、+ N 2=w T S B w(3.38)(3.39)(3.40)(3.41)其中(3.42)Sb = N1 (fi1 - p)0- py + N2 (fi2 - “)% - “y =彳 Nj - p ) p 丄j=1定义类 j的类内散度(Within-class scatter)平方和为(3.43)SS” = ivTx - p)= 工 WTx - wTp .Wjp jpjpeNjpeNj两个类的总的类内散度误差平方和为ssw =为 SS . = S 工 WTx 一 wTp .)Wwjpjj=1j=1 peN j=wT为工 G 一 p.)(- p)p厂J p厂J _ j=1 peN J=WTS
4、wW(3.44)其中，(3.45)Sw工以p - “儿-“ j j=1 pwN j我们的目的是使类间散度平方和SSB与类内散度平方和SS的比Bw值为最大，即max J (w )=谿SS(3.46)图 3.5a, Fisher 判别法类间散度平方和（分子）的几何意义oo.wpplpxp1xp2十土v p2叫类k、%类图 3.5b, Fisher 判别法类内散度平方和（分母）的几何意义图 3.5 给出了类间散度平方和 SB 与类内散度平方和 SE 的几何意 义。根据图3.5a，类间散度平方和SB的另一种表示方式为SSB 二* - fl2 丄=vT片- wT% )=WT(% -%2)%1 -%2Fw
5、 = wTSBw(3.47)这里SB = - %2沟1 - %2P(3.48)可以证明， (3.48)与(3.42)只相差一个系数。简单证明如下：由于如1、+工XpX p如2丿N1%1 + N 2 %N(3.49)/ % - n%1+n% 斗1 N 丿% - N1%1 + N2 %2 YI 2 N 丿+ 等(%2 - %1沟2 - %1 片由(3.42)得SB = N1 (%1 - %)% - %Y + N2 (%2 - %)%2 - %片 =N1f %1 - N%+ N2 (%2 -也=等(%1 - %2)Q %2”(3.50)=NN2(%1 - %2沟1- %2片这说明， (3.48)与(
6、3.42)只相差一个与样本数有关的常数。根据图35b类内散度平方和SSE的另一种表示方式为SS22Ep1p2x p 1xp2wTxp2w T xp2x p 1xp2wTxp片xpxpd2xp d2 2 wxp1xp2wT SW w(3.51)这正是（3.44。）下面分析怎样确定最佳投影方向 w 。显然， SB、SW均为对称阵，于是，SW12 -T 1S W 2，且 Sw =SW1 S 12 W 2。令VsW 2w，则wSW2V,代入(3.46)得max J wwTSBWVTsW t2 |isBSW2v(3.52)wTSW wVTV使（3.52为） 最大，等价于求最大特征值maxSTSW2Sb
7、SW 2max SW 1SB 对应的特征向量。即SW 1SBwmax w(3.53)我们知道，S Bw = G1 -禺护 1 - “2 P w - “2)Ww - w 丿 = (fi - “2 冷-“2 丿 I -“2)(3.54)于是， (3.53)可写成aS”)1 (“i -“2)=九 wW 1 2 max这说明，w得方向与SW (“ - “2)的方向一致，即w = iW (“1 - “2)(3.55)(3.56)因此，在应用过程中，我们往往不必求出类间散度阵S Bw与输入空间维数相等，或者说，投影方向过原点。设分类阈值X如果wT X 00(3.57)不定如果wTX _ 0为0，则判别公式
8、为确定。的一些经验公式为(1)取两个类别均值在w方向投影的简单平均_ wT (“ + “2)(3.58)(2)考虑样本数的两个类别均值在w方向投影的平均(3.59)0_币T他片+ N 2 “ 2）N或(3.60)0 = WT 32A + N1 月2）N（3）考虑类方差的两个类别均值在w方向投影的平均(3.61)0= W&2“1 +C1“2 丿C1 +C2或(3.62)0=wT q“1+c1“2 丿C1 +C2这里，、b2分别为两个类别在W方向投影的均方差。 当然，当类内散度阵s w不可逆时，Fisher判别法失效。例 5 在研究地震预报中，遇到沙基液化问题，选择了下列7 个有关的 因素：x1：
9、震级，x2：震中距（公里），X3：水深（米），x4： 土深（米）x5：贯入值，x6：最大地面加速度（10-2N/m2）,x7:地震持续时间（秒）具体数据如表 1 所示。x1X2X3X4X5X6X7类别序号6.6391.06.06.00.1220I16.6391.06.0120.1220I26.1471.06.06.00.0812I36.1471.06.0120.0812I48.4322.07.5190.3575I57.26.01.07.0280.3030I68.41133.56.0180.1575I77.5521.06.0120.1640I87.5523.57.56.00.1640I98.31
10、130.07.5350.12180I107.81721.03.5140.2145I117.81721.53.0150.2145II128.4321.05.04.00.3575II138.4322.09.0100.3575II148.4322.54.0100.3575II156.3114.57.53.00.2015II167.08.04.54.59.00.2530II177.08.06.07.54.00.2530II187.08.01.56.01.00.2530II198.31611.54.04.00.0870II208.31610.52.51.00.0870II217.26.03.54.012
11、0.3030II227.26.01.03.03.00.3030II237.26.01.06.05.00.3030II245.56.02.53.07.00.1818II258.41133.54.56.00.1575II268.41133.54.58.00.1575II277.5521.06.06.00.1640II287.5521.07.58.00.1640II298.3970.06.05.00.15180II308.3972.56.05.00.15180II318.3890.06.0100.16180II328.3561.56.0130.25180II337.81721.03.56.00.2145II347.82831.04.56.00.1845II35解，设数据文件名为d:a.txt，用Matlab实现
