《模式识别复习重点总结》由会员分享，可在线阅读，更多相关《模式识别复习重点总结（8页珍藏版）》请在金锄头文库上搜索。
1、-1.什么是模式及模式识别？模式识别的应用领域主要有哪些？模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息； 模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。 模式识别的应用领域：1字符识别；2医疗诊断；3遥感；(4指纹识别 脸形识别；5检测污染分析，大气，水源，环境监测；6自动检测；7 语声识别，机器翻译，自动查询，侦听，机器故障判断；8军事应用。2.模式识别系统的根本组成是什么？1 信息的获取：是通过传感器，将光或声音等信息转化为电信息；（2） 预处理：包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；3 特征抽取和选择：在测量空间的
2、原始数据通过变换获得在特征空间最能反映分类本质的特征；4 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库；（5） 分类决策：在特征空间中对被识别对象进展分类。3.模式识别的根本问题有哪些？1模式(样本)表示方法：a向量表示；b矩阵表示；c几何表示；4基元(链码)表示；2模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集3相似与分类；(a)两个样本*i ，*j之间的相似度量满足以下要求：应为非负值样本本身相似性度量应最大度量应满足对称性在满足紧致性的条件下，相似性应该是
3、点间距离的 单调函数 (b)用各种距离表示相似性4特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征（5） 数据的标准化:(a)极差标准化；(b)方差标准化4线性判别方法1两类：二维及多维判别函数，判别边界，判别规则二维情况：a判别函数： ( ) b判别边界：g(*)=0; c判别规则：n维情况：a判别函数： 也可表示为： b判别边界：g1(*) =WT*=0 c判别规则：2多类：3种判别方法函数、边界、规则(A)第一种情况：(a)判别函数：M类可有M个判别函数 (b)判别边界：ii=1,2,n类与其它类之间的边界由 gi(*)=0确定 (c)判别规则：(B)第二种情况：(a
4、)判别函数：有 M(M _ 1)/2个判别平面(b)判别边界：(c)判别规则：(C)第三种情况：(a)判别函数：(b)判别边界：gi(*) =gj(*) 或gi(*) -gj(*) =0(c)判别规则：5什么是模式空间及加权空间，解向量及解区？1模式空间：由 构成的n维欧氏空间；2加权空间：以 为变量构成的欧氏空间；3解向量：分界面为H，W与H正交，W称为解向量；4解区：解向量的变动围称为解区。6超平面的四个根本性质是什么？性质：W与H正交；性质 ：其中， 为*矢量到H的正交投影；性质：性质：7二分法能力如何表示？N个样品线性可分数目(条件：样本分布良好：线性可分概率:8广义线性判别方法1非线
5、性线性一个非线性判别函数通过映射，变换成线性判别函数：2线性判别9分段线性判别方法1基于距离:1子类，类判别函数 2判别规则1子类：把i类可以分成li个子类: 分成l个子类。子类判别函数：在同类的子类中找最近的均值2判别规则：这是在M类中找最近均值。则把*归于j类完成分类2基于函数：1子类，类判别函数 2判别规则1子类类判别函数：对每个子类定义一个线性判别函数为：2判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(*),i=1,2,.M,因此，决策规则3基于凹函数的并：1析取式，合取式，凹函数（2） 判别规则（1） 析取式：P=(L11L12L1m)(Lq
6、1Lq2Lqm)合取式：Q= (L11 L12 L1m) (Lq1 Lq2 Lqm) 凹函数：Pi=Li1Li2Lim（2） 判别规则：设第一类有q个峰，则有q个凹函数。即P=P1P2Pq 10非线性判别方法1集中，分散2,均集中11分类器的设计1梯度下降法迭代法：准则函数，学习规则a准则函数：J(W)J(Wk)+ JT(W- Wk)+(W- Wk)TD(W- Wk)T/2 其中D为当W = Wk时 J(W)的二阶偏导数矩阵b学习规则：从起始值W1开场，算出W1处目标函数的梯度矢量J(W1)，则下一步的w值为：W2 = W1-1J(W1) 其中W1为起始权向量， 1为迭代步长，J(W1) 为目
7、标函数，J(W1)为W1处的目标函数的梯度矢量在第K步的时候Wk+1 = Wk-kJ(Wk)最正确步长为k=|J|2/JTDJ这就是梯度下降法的迭代公式。2感知器法：准则、学习规则批量，样本a准则函数： 其中*0为错分样本b学习规则：1.错误分类修正wk如wkT*0并且*1 wk+1= wk+k* 如wkT*0并且*2 wk+1= wk-k* 2.正确分类，wk不修正 如wkT*0并且*1如wkT*0并且*2 wk+1= wk3最小平方误差准则法MSE法非迭代法：准则、权向量解(a)准则函数：(b)权向量解：4韦霍氏法LMS法迭代法：准则，学习规则(a)准则函数：(b)学习规则：W1任意，Wk
8、+1=Wk+k(bk-WkT*k) *kk随迭代次数k而减少，以保证算法收敛于满意的W值5何卡氏法H-K法迭代法：准则，的学习规则(a)准则：它的解为：bb，W的学习规则：其中 c为矫正系数，ek为误差矢量，ek=*Wk-bk 初始条件 W1=*+b1并且b10迭代时检测 如果ek0时，*Wb，系统线性可分，迭代收敛 如果ek0时，*W0时 rk+1= 0 *k+11并且Kk(*k+1) 0时 rk+1= 1 *k+12并且Kk(*k+1)0时 rk+1= 0 *k+12并且Kk(*k+1) 0时 rk+1= -1121二类问题的贝叶斯判别1判别函数的四种形式2决策规则3决策面方程4决策系统的
9、构造 1判别函数的四种形式： 2判别规则：3决策面方程：g*=0 4决策系统的构造 A向量特征B判别计算C阈值单元D决策2多类问题的贝叶斯判别1判别函数的四种形式2决策规则3决策面方程4决策系统的构造 1判别函数的四种形式：M类有M个判别函数g1(*), g2(*), gm(*).2决策规则：另一种形式：3决策面方程：4决策系统的构造：(a)特征向量；(b)判别计算；(c)最大选择器；(d)决策13三种最小错误率贝叶斯分类器正态分布：判别函数，判别规则，决策面方程1第一种情况：各个特征统计独立，且同方差情况。(最简单情况) (a)判别函数： (b)判别规则： (c)决策面方程：2第二种情况：i
10、相等，即各类协方差相等。 (a)判别函数： (b)判别规则： (c)决策面方程：3第三种情况(一般情况)：为任意，各类协方差矩阵不等，二次项*T *与i有关。所以判别函数为二次型函数。(a)判别函数：(b)判别规则： (c)决策面方程：14最小风险贝叶斯分类器：判别函数，判别规则1判别函数：条件风险：i：表示把模式*判决为i类的一次动作 期望风险： 2判别规则： ：15聂曼皮尔逊判决：二类：准则，判别规则，阈值确实定1准则： 2判别规则：3阈值确实定：16最小最大损失准则判决二类：准则，判别规则，确实定1准则：讨论在P(i)变化时如何使最大可能风险最小；2判别规则：风险 通过最小风险与先验概率的关系曲线 ，确定最大风险，使最大风险最小。3确实定：17什么是序贯分类？序贯：随着时间的推移可以得到越来越多的信息。序贯分类决策规则18什么是参数估计，非参数估计，监视学习，无监视学习？参数估计：先假定研究的问题具有*种数学模型，如正态分布，二项分布，再用类别的学习样本估计里面的参数；非参数估计：不假定数学模型，直接用类别的学习样本的先验知识直接估计数学模型；监视学习：在类别样本指导下的学习和训练，参数估计和非参数估
