《基于Fisher准则线性分类器设计实验报告.doc》由会员分享，可在线阅读，更多相关《基于Fisher准则线性分类器设计实验报告.doc（5页珍藏版）》请在金锄头文库上搜索。
1、基于Fisher准则线性分类器设计实验报告 北京邮电大学模式识别实验 专业： 学生姓名： 指导教师： 完成时间：实验二：基于Fisher准则线性分类器设计目录 一、实验类型 2 二、实验目的 2 三、实验条件 2 四、实验原理 2 五、实验内容 4 六、实验要求 7 七、实验结果 7 1、源代码 7 2、 决策面 11 3、 参数 11 决策面向量 11 阈值 11 样本点分类 11 八、 实验分析 13 1、 比例因子 13 2、语法障碍 13一、实验类型 设计型：线性分类器设计（Fisher准则） 二、实验目的 本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更
2、深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrande乘子求解的原理。 三、实验条件 matlab软件 四、实验原理线性判别函数的一般形式可表示成 其中 根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为： 上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中式一个向量，是的逆矩阵，如是d维，和都是dd维，得到的也是一个d维的向量。 向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将
3、d维X空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。 以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量 的计算方法，但是判别函数中的另一项尚未确定，一般可采用以下几种方法确定如 或者 或当与已知时可用 当W0确定之后，则可按以下规则分类， 使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。 五、实验内容 已知有两类数据和二者的概率已知=， =。 中数据点的坐标对应一一如下： 数据： x1 = - - - - - - x2 =x3 =数据点的对应的三维坐标为
4、x1 = x2 =x3 = 数据的样本点分布如下图： 图 1：样本点分布图六、实验要求 1) 请把数据作为样本，根据Fisher选择投影方向的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向的函数，并在图形表示出来。并在实验报告中表示出来，并求使取极大值的。用matlab完成Fisher线性分类器的设计，程序的语句要求有注释。 2) 根据上述的结果并判断（1，）(，)，(，)，(，)，（，），属于哪个类别，并画出数据分类相应的结果图，要求画出其在上的投影。 3) 回答如下问题，分析一下的比例因子对于Fisher判别函数没有影响的原因。
5、七、实验结果 1、源代码 x1= .- - - .- .- .- - - -; y1= . ; z1= . . . ;%存储第一类点 x2= . . ; y2= . ; z2= . ;%存储第二类点 Pw1= Pw2= %求第一类点的均值向量m1 m1x=mean(x1(:) %全部平均 m1y=mean(y1(:) %全部平均 m1z=mean(z1(:) %全部平均 m1=m1x m1y m1z %求第二类点的均值向量m2 m2x=mean(x2(:) %全部平均 m2y=mean(y2(:) %全部平均 m2z=mean(z2(:) %全部平均 m2=m2x m2y m2z %求第一类类
6、内离散矩阵S1 S1=zeros(3,3) for i=1:36 S1=S1+(x1(i),y1(i),z1(i)-m1)*(x1(i),y1(i),z1(i)-m1) end %求第二类类内离散矩阵S2 S2=zeros(3,3) for i=1:36 S2=S2+(x2(i),y2(i),z2(i)-m2)*(x2(i),y2(i),z2(i)-m2) end %求总类内离散度矩阵Sw Sw=S1+S2 %求向量W* W=(inv(Sw)*(m1-m2) %画出决策面 x=0:.1: y=0:.1:3 X,Y=meshgrid(x,y) Z=(W(1)*X+W(2)*Y)/(-W(3) m
7、esh(X,Y,Z) %保持 hold on %透视决策面 hidden off %求第一类样品的投影值均值 Y1=0 for i=1:36 Y1=Y1+W*x1(i),y1(i),z1(i) end M1=Y1/36 %求第二类样品的投影值均值 Y2=0 for i=1:36 Y2=Y2+W*x2(i),y2(i),z2(i) end M2=Y2/36 %选取阈值Y0 Y0=(M1+M2)/2+(log(Pw1)/log(Pw2)/70 %判定未知样品类别 X1=1, if W*X1Y0 disp(点X1(1,)属于第一类) plot3(1,or) else disp(点X1(1,)属于第二
8、类) plot3(1,ob) end X2=, if W*X2Y0 disp(点X2(,)属于第一类) plot3(,or) else disp(点X2(,)属于第二类) plot3(,ob) end X3=, if W*X3Y0 disp(点X3(,)属于第一类) plot3(,or) else disp(点X3(,)属于第二类) plot3(,ob) end X4=, if W*X4Y0 disp(点X4(,)属于第一类) plot3(,or) else disp(点X4(,)属于第二类) plot3(,ob) end X5=, if W*X5Y0 disp(点X5(,)属于第一类) pl
9、ot3(,or) else disp(点X5(,)属于第二类) plot3(,ob) end 2、 决策面图 2：决策面（红色代表第一类，蓝色代表第二类） 3、 参数 决策面向量 W = - - 阈值 Y0 = 样本点分类 X1 =点X1(1,)属于第一类X2 =点X2(,)属于第二类X3 =点X3(,)属于第二类X4 =点X4(,)属于第二类X5 =点X5(,)属于第一类 八、 实验分析 1、 比例因子 决策面向量W的比例因子并不影响判别函数。分析如下： 阈值： 判别函数： 可以证明，Y0与WT有关，所以当改变WT时，判别函数两边同时改变，所以WT并不影响判别函数。 2、语法障碍 由于之前不怎么接触matlab，所以此次实验做得比较漫长。为了方便程序进行矩阵的运算，我把原始数据由矩阵转化成一维向量，后面的求和运算相应的转化为循环结构实现。
