《模式识别复习重点总结》由会员分享,可在线阅读,更多相关《模式识别复习重点总结(9页珍藏版)》请在金锄头文库上搜索。
1、1线性判别方法(1)两类:二维及多维判别函数,判别边界,判别规则二维情况:(a)判别函数: ( ) (b)判别边界:g(x)=0; (c)判别规则:n维情况:(a)判别函数: 也可表示为: (b)判别边界:g1(x) =WTX=0 (c)判别规则: (2)多类:3种判别方法(函数、边界、规则)(A)第一种情况:(a)判别函数:M类可有M个判别函数 (b) 判别边界:i (i=1,2,n)类与其它类之间的边界由 gi(x)=0确定 (c) 判别规则: (B)第二种情况:(a)判别函数:有 M(M _ 1)/2个判别平面 (b) 判别边界:(c) 判别规则:(C)第三种情况:(a)判别函数: (b
2、) 判别边界:gi(x) =gj(x) 或gi(x) -gj(x) =0 (c) 判别规则:2分段线性判别方法1)基于距离:(1)子类,类判别函数 (2)判别规则(1)子类:把i类可以分成li个子类: 分成l个子类。子类判别函数:在同类的子类中找最近的均值(2)判别规则:这是在M类中找最近均值。则把x归于j类完成分类2)基于函数:(1)子类,类判别函数 (2)判别规则(1)子类类判别函数:对每个子类定义一个线性判别函数为:(2)判别规则:在各子类中找最大的判别函数作为此类的代表,则对于M类,可定义M个判别函数gi(x),i=1,2,.M,因此,决策规则3)基于凹函数的并:(1)析取范式,合取范
3、式,凹函数判别规则析取范式:P=(L11L12L1m)(Lq1Lq2Lqm)合取范式:Q= (L11 L12 L1m) (Lq1 Lq2 Lqm)凹函数:Pi=Li1Li2Lim判别规则:设第一类有q个峰,则有q个凹函数。即P=P1P2Pq 3非线性判别方法(1)集中,分散(2), 均集中4分类器的设计(1)梯度下降法(迭代法):准则函数,学习规则(a)准则函数:J(W)J(Wk)+ JT(W- Wk)+(W- Wk)TD(W- Wk)T/2 其中D为当W = Wk时 J(W)的二阶偏导数矩阵(b)学习规则:从起始值W1开始,算出W1处目标函数的梯度矢量J(W1),则下一步的w值为:W2 =
4、W1-1J(W1) 其中W1为起始权向量, 1为迭代步长,J(W1) 为目标函数,J(W1)为W1处的目标函数的梯度矢量在第K步的时候Wk+1 = Wk-kJ(Wk) 最佳步长为k=|J|2/JTDJ这就是梯度下降法的迭代公式。(2)感知器法:准则、学习规则(批量,样本)(a)准则函数: 其中x0为错分样本(b)学习规则: 1.错误分类修正wk 如wkTx0并且x1 wk+1= wk+kx 如wkTx0并且x2 wk+1= wk-kx 2.正确分类 ,wk不修正 如wkTx0并且x1 如wkTx0并且x2 wk+1= wk (3)最小平方误差准则法(MSE法)(非迭代法):准则、权向量解(a)
5、准则函数:(b)权向量解:(4)韦霍氏法(LMS法)(迭代法):准则,学习规则(a)准则函数:(b)学习规则: W1任意 ,Wk+1=Wk+k(bk-WkTXk) Xk k随迭代次数k而减少,以保证算法收敛于满意的W值(5)何卡氏法(H-K法)(迭代法):准则,的学习规则(a)准则: 它的解为: (b)b,W的学习规则: 其中 c为矫正系数,ek为误差矢量,ek=XWk-bk 初始条件 W1=X+b1并且b10迭代时检测 如果ek0时,XWb,系统线性可分,迭代收敛 如果ek0时,XW0时 rk+1= 0 xk+11并且Kk(xk+1) 0时 rk+1= 1 xk+12并且Kk(xk+1)0时
6、 rk+1= 0 xk+12并且Kk(xk+1) 0时 rk+1= -151)二类问题的贝叶斯判别(1)判别函数的四种形式(2)决策规则(3)决策面方程(4)决策系统的结构 (1)判别函数的四种形式: (2)判别规则: (3)决策面方程:g(x)=02)多类问题的贝叶斯判别(1)判别函数的四种形式(2)决策规则(3)决策面方程(4)决策系统的结构 (1)判别函数的四种形式:M类有M个判别函数g1(x), g2(x), gm(x).(2)决策规则:另一种形式:(3)决策面方程:6三种最小错误率贝叶斯分类器(正态分布):判别函数,判别规则,决策面方程(1)第一种情况:各个特征统计独立,且同方差情况
7、。(最简单情况) (a)判别函数: (b)判别规则: (c)决策面方程:(2)第二种情况:i 相等,即各类协方差相等。 (a)判别函数: (b)判别规则: (c)决策面方程:(3)第三种情况(一般情况):为任意,各类协方差矩阵不等,二次项xT x与i有关。所以判别函数为二次型函数。(a)判别函数:(b)判别规则: (c)决策面方程: 7最小风险贝叶斯分类器:判别函数,判别规则(1)判别函数:条件风险:i:表示把模式x判决为i类的一次动作 期望风险: (2)判别规则: :8最小最大损失准则判决(二类):准则,判别规则,的确定(1)准则:讨论在P(i)变化时如何使最大可能风险最小;(2)判别规则:
8、风险 通过最小风险与先验概率的关系曲线 ,确定最大风险,使最大风险最小。(3)的确定:9(1)贝叶斯估计算法思想:准则,求解过程(A)准则:通过对第i类学习样本Xi的观察,使概率密度分布P(Xi/)转化为后验概率P(/Xi) ,再求贝叶斯估计;(B)求解过程: 确定的先验分布P(),待估参数为随机变量。 用第i类样本xi=(x1, x2,. xN)T求出样本的联合概率密度分布P(xi|),它是的函数。 利用贝叶斯公式,求的后验概率 (2)正态分布情况下:的计算对的估计为若令P()=N(0, 02 )=N(0,1)9非参数估计的条件密度计算公式(1)Parzen窗口估计的三种形式,条件密度的计算
9、(A)窗口的选择:(A)方窗函数;(B)正态窗函数;(C)指数窗函数(B)条件密度的计算:(2)K-近邻估计的基本思想及用K-近邻法作后验概率估计的方法(A)基本思想:以x为中心建立空胞,使v,直到捕捉到KN个样本为止。(B)用K-近邻法作后验概率估计的方法:由KN近邻估计知N个已知类别样本落入VN内为KN个样本的概率密度估计为N个样本落入VN内有KN个,KN个样本内有Ki个样本属于i类,则联合概率密度:根据Bayes公式可求出后验概率:27模糊聚类分析方法1)基于等价关系(1)-水平截阵(2)等价划分(1)水平截阵: R =x| A(x) (2)等价划分:若 是E上的一个等价关系。则对任意阈值(0 1)则模糊水平集R 也是E上的一个等价关系;由小到大选取阈值(0 1),将矩阵中相同的行的特征归为一类,得到分类;逐渐增大阈值,则分类增多,知道满足分类数目为止。2)基于相似关系(1)求传递闭包等价(2)利用等价关系聚类