《模式识别考试资料》由会员分享，可在线阅读，更多相关《模式识别考试资料（28页珍藏版）》请在金锄头文库上搜索。
1、模式识别考试资料总复习模式识别考试资料总复习1. 第一部分1.1. 模式、模式识别的概念 广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。狭义的定义：模式是对感兴趣的客体的定量的或结构的描述；模式类是具有某些共同特性的模式的集合。模式的直观特性:可观察性 可区分性 相似性模式识别：将未知的事物或现象与各种模式进行比较，看它与哪一类模式最接近，从而判断出该事物或现象属于哪一类.模式识别是研究一些自动技术，依靠这些技术，计算机自动地(或者人进行少量干涉)把
2、待识模式分到各自的模式类中去。1.2. 模式识别的研究目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。“识别”就是对客观事物按其物理特征来进行分类。1.3. 监督、非监督分类式 监督分类-将输入的“模式”归入已知的类别中。非监督分类-将输入的“模式”归入未知的类别1.4. 模式识别的方法 模板匹配法 统计方法 神经网络方法 结构方法(句法方法1.5. 模式识别系统构成的三个单元 模式识别系统主要由：预处理(信息获取)、特征提取/选择，分类器(聚类器)组成。1.6. 基于统计模式识别系统的4个主要构成部分 书上（第二页）数据提取，预处理，特征提取和选
3、择，分类决策1.7. 模式识别系统设计的五个步骤1 设计目标检测器 将目标检测出来2 特征选取 确定哪个目标的属性可以区别不同的目标3 分类器设计 确定分类原理和机理4 分类器训练 确定分类参数5 性能评估 估计可能的误差率2. 第二部分2.1. 模式分类根据识别对象的观测值确定其 ：根据识别对象的观测值确定其2.2. 决策 把xx分到哪一类最合理？理论基础之一是统计决策理论决策：是从样本空间S，到决策空，间的一个映射，表示为D: S - 先验概率：状态，i,=1,2 ，i类别状态是一个随机变量，类别状态是一个随机变量, P(i) 表示为先验概率。先验信息的判别规则 如果P( P(1) P(2
4、) ，则选择 1，否则，选择 w2择 5 后验分布的判别规则，存在一个观察值x(特征)如果P(1| x) P(2| x)，类别状态= 1如果P(1| x) 2.5. 错误概率的最小化判定规则2.6. 四种基于最小错误的Bayes决策形式2.7. 最小风险贝叶斯决策等价于最小错误率贝叶斯决策 换句话说：最小错误率贝叶斯决策是在00-11损失函数条件下的最小风险贝叶斯决策，最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。 如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值xx作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为：If R(ak/x)=min
5、R(ak/x)Then a=ak2.8. 后验概率 后验(Posterior), 似然(likelihood),(likelihood),全概率( evidence( evidence-证据?)p(wi/x)=pwix*p(wi)p(x)对于两类的全概率为：p(x)=j=1j=2pxwj)p(wj)后验(分布或密度) =似然*先念全概率 类条件概率密度=似然对于两类的全概率为：后验(分布或密度) 类条件概率密度=似然2.9. 损失函数 损失函数(loss function)(function)状态表示每次采取行动的代价。损失函数 表示当真实状态为 时而采 取的决策行为为 时所带来的损失 风险
6、损失函数”：表示当真实状态为 i时而采 取的决策行为为 j时所带来的损失(风险)。2.10. “0-1”损失函数定义在c个类别只有c个决策时，如果正确决策，则损失函数的值为0；如果错误决策，则损失函数的值为1。公式表示为：最小风险贝叶斯决策等价于最小错误率贝叶斯决策。换句话说：最小错误率贝叶斯决策是在0-1损失函数条件下的最小风险贝叶斯决策，最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。第三部分2.11. 参数估计的过程2.11.1. 非监督参数估计l 一类为基于概率密度函数 估计的直接方 法：设法找到各类别在特征空间的分布参数再进行分类；一类为基于概率密度函数估计的直接方法：设法找到各类别
7、在特征空间的分布 参数再进行分类；l 一类称为 基于样本间相似性度量 的间接 聚类方法。其原理 是设法定出不同类别 的核心或初始类核，然后依据样本与这 些核心之间的相似性度量将样本聚集成 不同类别。 一类称为基于样本间相似性度量的间接 聚类方法。其原理是设法定出不同类别 的核心或初始类核，然后依据样本与这 些核心之间的相似性度量将样本聚集成不同类别。2.11.2. 监督参数估计 1、设计贝叶斯分类器的方法：即 已知 先验概率 p（i）和类条件概率密 p(x/i)的情况下，按一定的决策 规则确定 判别函数 和决策面 2、监督参数估计：已知样本的类条件概率密度p(x/i)的形式和样本所属的类别i，
8、去，推断概率密度函数中的某些未知的参数（均值、方差）。非监督参数估计：已知样本的类条件概率密度p (x/i)的形式而样本所属的类别i未知，去推断概率密度函数中的某些未知的参数。非参数估计：已知样本所属的类别i，而，样本的类条件概率密度p (x/i)的形式未知.去推断概率密度函数。3 参数估计l统计量：样本集的某种函数fK(为参数的估计值)l参数空间：总体分布的未知参数所有可能取值组成的集合()l点估计的估计量和估计值：q的估计量q=d(x1,x2,x3,xN)是样本集的函数它对样本集的一次实现称为估计值2.11.3. 最大似然估计 Maximum Likelihood (ML)l 样本集可按类
9、别分开，不同类别的密度函数的参数分别用各类的样本集来训练。l 概率密度函数的形式已知，参数未知，为了描述概率密度函数p（x/)与数的依赖关系，用p（x/i,）表示。l 估计的参数是确定而未知的，Bayes估计方法则视为随机变量。 独立地按概率密度p(x/)抽取样本集K=(X1,X2,X3XN)；用K估计未知参数。 似然函数：L()=P(K|)=P(X1，X2，Xn|)= p(Xk|) 对数(loglarized)似然函数：H()= 最大似然估计估计量的评价标准：无偏性，有效性，一致性2.11.4. BayesBayes决策 确定x的真实状态i（模式类）Bayes估计 根据一个样本集，找出估计量
10、，估计所属总体分布的某个真实参数使带来的Bayes风险最小Bayes估计的基本思想：所求得的 的估计值应使估计损失的期望最小，这种使或等价地使取最小值的的估计值称为的BayesBayes估计。对于不同的，可得到不同的最佳BayesBayes估计。 最大似然估计和Bayes 估计区别 两种方法估计的参数的结果接近，但过程有区别： 前者将未知参数看成是确定变量 ，在实际样本观察的概率最大的条件下，获得未知参数的最好的估计； 后者将未知参数看成是按某种分布得随机变量 ，样本的观察结果由先验分布转化为后验分布，再由后验分布修正参数的估计值。 2.11.5. 计算贝叶斯估计和最大似然估计最大似然估计和
11、Bayes 估计区别 最大似然估计和Bayes最大似然估计和Bayes两种方法估计的参数的结果接近，但 过程有区别：前者将未知参数看成是确定变量 ，在实际样本观察的 概率最大的条件下，获得未知参数的最好的估计； 后者将未知参数看成是按某种 分布得 随机变量 ，样本的观察结果由先验分布 转化为后验分布 ，再由后验分布修正参数的估计值。两种方法估计的参数的结果接近，但过程有区别：前者将未知参数看成是 确定变量，在实际样本观察的概率最大的条件下，获得未知参数的最好的估计；后者将未知参数看成是按某种分布得随机变量，样本的观察结果由先验分布转化为后验分布，再由后验估计区别分布修正参数的估计值。例题：3.
12、 第四部分特征的分类：物理的，结构的，数字的 物理量的获取与转换 描述事物方法的选择与设计 2 特征空间的优化 - 对初始的特征空间进行优 化是为了降维。即初始的特征空间维数较高。 能否改成一个维数较低的空间，称为优化。 3 特征优化两种方法区别 特征提取(特征组合优化) ： 通过映射(或变换)的方法把高维的特征向量变换为低维特征向量特征选择 ：从一组特征中挑选出一些最有效的特征的过程。筛选。 4 类内离散度尽量小，类间离散度尽量大K-L变换又称主分量分析，是一种正交变换，K-L变换常用来作为数据压缩，这里我们用它作降维4. 第五部分4.1. 判别函数相关知识 4.2. 线性判别的含义 4.3
13、. Fisher线性判别5. 第六部分5.1. 非监督学习方法的概念及用途 1 非监督学习：给定未知（未知类别 及类别数）样本，设计分类器。监督学习：给定 已知类别的学习样本，设计分类器。 2 两大类非监督学习：基于 概率密度函数 估计 直接 方法：设法找到各类别在特征空间的分布 参数再进行分类； 基于 样本间相似性 (similarity) 度量的 间接 聚类方法：是设法定出不同类别 的核心或初始类核，然后依据样本与这 些核心之间的相似性度量将样本聚集成 不同类别。 一类为基于概率密度函数 估计的直接方 法：设法找到各类别在特征空间的分布参数再进行分类；一类为基于概率密度函数估计的直接方法：
14、设法找到各类别在特征空间的分布 参数再进行分类；l一类称为 基于样本间相似性度量 的间接 聚类方法。其原理 是设法定出不同类别 的核心或初始类核，然后依据样本与这 些核心之间的相似性度量将样本聚集成 不同类别。 一类称为基于样本间相似性度量的间接 聚类方法。其原理是设法定出不同类别 的核心或初始类核，然后依据样本与这 些核心之间的相似性度量将样本聚集成不同类别。3 非监督学习与有监督学习方法的区别： 有监督学习方法：必须有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律；非监督学习：没有训练集，只有一组数据，在该组数据集内寻找规律 5.2. 投影法的原理l 对于样本在某一种度量中的分布统计一般称为直方图统计，在样本数量很大时，又可作为概率统计的估计分布统计， 一般称为直方图统计，在样本数量很大时，又可作为概率统计的估计。l 由于这种方法基于将样本投影到某个坐标轴上，因而称为投影方法由于这种方法基于将样本投影到某个坐标轴上，因而称为投影方法。l 使用投影方法有两个组
