《哈工大模式识别课程期末总结分解》由会员分享，可在线阅读，更多相关《哈工大模式识别课程期末总结分解（123页珍藏版）》请在金锄头文库上搜索。
1、哈尔滨工业大学哈尔滨工业大学课程总复习21. 关于期末考试关于期末考试/考察考察2. 章节知识点整理章节知识点整理31. 1. 关于期末考试关于期末考试/ /考察考察41.确认考试人员名单；2.考试/考察方式学位课：考试70%+报告30%；选修课：报告100%（不用考试）。3.报告形式(见word文档)4.考试题目（100分）1简答题（35分）7*5=35分2推导题（8分）3证明题（8分）4问答题（24分）3*8=24分5计算题（25分）9+8+8=25分（记得要带尺子，铅笔，橡皮擦记得要带尺子，铅笔，橡皮擦）【关于期末考试】52.2.章节知识点整理章节知识点整理哈尔滨工业大学哈尔滨工业大学第
2、1章 模式识别绪论模式识别基本概念模式识别系统组成模式识别基本问题应用领域小结模式识别系统组成模式识别系统组成 【模式识别系统组成】1. 1. 信息的获取：通过测量、采样、量化并用矩阵或向量表示。通常信息的获取：通过测量、采样、量化并用矩阵或向量表示。通常输入对象的信息有三个类型：二维图像（文字、指纹、地图、照片等）输入对象的信息有三个类型：二维图像（文字、指纹、地图、照片等）、一维波形（脑电图、心电图、机械震动波形等）、物理参量和逻辑、一维波形（脑电图、心电图、机械震动波形等）、物理参量和逻辑值（体检中的温度、血化验结果等）值（体检中的温度、血化验结果等）2. 2. 预处理：去除噪声，加强有
3、用的信息，并对输入测量仪器或其它预处理：去除噪声，加强有用的信息，并对输入测量仪器或其它因素造成的干扰进行处理。因素造成的干扰进行处理。3. 3. 特征提取与选择：为了实现有效的识别分类，要对原始数据进行特征提取与选择：为了实现有效的识别分类，要对原始数据进行变换得到最能反映分类本质的特征，此过程为特征提取和选择。变换得到最能反映分类本质的特征，此过程为特征提取和选择。4. 4. 分类决策：在特征空间中用统计方法把被识别对象归为某一类。分类决策：在特征空间中用统计方法把被识别对象归为某一类。基本作法是在样本训练集基础上确定某个判决规则，使按这种判决规基本作法是在样本训练集基础上确定某个判决规则
4、，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。5.5.后处理：针对决策采取相应的行动。后处理：针对决策采取相应的行动。信息信息获取获取预处理预处理特征提取特征提取与选择与选择分类分类决策决策后处理后处理模式识别系统组成框图模式识别系统组成框图哈尔滨工业大学哈尔滨工业大学第2章 贝叶斯决策理论概率论基础知识概率论基础知识贝叶斯决策基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计贝叶斯分类器设计正态分布时的统计决
5、策正态分布时的统计决策小结小结贝叶斯决策基础知识贝叶斯决策基础知识【贝叶斯决策基础知识】贝叶斯决策理叶斯决策理论先验概率：后验概率：类条件概率：贝叶斯公式：基于最小错误率的贝基于最小错误率的贝叶斯决策叶斯决策【基于最小错误率的贝叶斯决策】（4）【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】【基于最小风险的贝叶斯决策】概念概念决策决策决策空决策空间 前面所讲的错误率达到最小。在某些实际应用中，最小错前面所讲的错误率达到最小。在某些实际应用中，最小错误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如果误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如果把正常细胞判为癌症细胞，固然
6、会给病人精神造成伤害，但伤把正常细胞判为癌症细胞，固然会给病人精神造成伤害，但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会使早期害有限；相反地，若把癌症细胞误判为正常细胞，将会使早期的癌症患者失去治疗的最佳时机，造成验证的后果。的癌症患者失去治疗的最佳时机，造成验证的后果。【基于最小风险的贝叶斯决策】数学描述数学描述【基于最小风险的贝叶斯决策】期望期望风险：条件期望条件期望损失：失：目的：期望目的：期望风险最小化最小化【基于最小风险的贝叶斯决策】最小最小风险贝叶斯决策叶斯决策规则: :【基于最小风险的贝叶斯决策】算法步算法步骤: :【基于最小风险的贝叶斯决策】例例题2:2:【基于最小风险
7、的贝叶斯决策】【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】定理：定理：0-10-1风险哈尔滨工业大学哈尔滨工业大学第3章 概率密度函数估计引言引言参数估计参数估计正态分布的参数估计正态分布的参数估计非参数估计非参数估计本章小结本章小结参数估计参数估计 【参数估计】最大似然估最大似然估计贝叶斯估叶斯估计贝叶斯学叶斯学习【最大似然估计】基本假基本假设【最大似然估计】基本概念基本概念【最大似然估计】基本原理基本原理【最大似然估计】估估计量量估估计值【最大似然估计】一元参数一元参数【最大似然估计】多元参数多元参数【最大似然估计】例子（梯度法不适合）：不成功！不成功！【贝叶斯估计】采用最小
8、采用最小风险贝叶斯决策叶斯决策【贝叶斯估计】【贝叶斯估计】【贝叶斯学习】【三种方法总结】【三种方法总结】哈尔滨工业大学哈尔滨工业大学第4章 线性判别函数线性判别函数的基本概念线性判别函数的基本概念Fisher线性判别准则函数线性判别准则函数感知准则函数感知准则函数最小平方误差准则函数最小平方误差准则函数多类问题多类问题4.1.1概念的提出概念的提出【线性判别函数】定定义4.1.1概念的提出概念的提出【线性判别函数】分分类决策决策4.1.1概念的提出概念的提出【线性判别函数】分析分析4.1.1概念的提出概念的提出【线性判别函数】分析分析说明：判别函数说明：判别函数g(x)正比于任意一正比于任意一
9、点点x到超平面的代数距离。到超平面的代数距离。FisherFisher线性判别准则函数线性判别准则函数【 Fisher线性判别准则函数】概念概念 应用统计方法解决模式识别问题时，往往遇到维数问题应用统计方法解决模式识别问题时，往往遇到维数问题（举例：图像识别），降维是有效方法。考虑到降（举例：图像识别），降维是有效方法。考虑到降d d维空间的维空间的样本投影到一条直线上，如果投影到任意一条直线上则可能造样本投影到一条直线上，如果投影到任意一条直线上则可能造成本来有很好区分度的样本在直线上线性不可分。因此，直线成本来有很好区分度的样本在直线上线性不可分。因此，直线的方向很关键。的方向很关键。【
10、Fisher线性判别准则函数】基本思路基本思路 FisherFisher判判别的基本思想：希望投影后的一的基本思想：希望投影后的一维数据数据满足：足： 两两类之之间的距离尽可能的距离尽可能远； 每一每一类自身尽可能自身尽可能紧凑。凑。【 Fisher线性判别准则函数】【 Fisher线性判别准则函数】【 Fisher线性判别准则函数】【 Fisher线性判别准则函数】哈尔滨工业大学哈尔滨工业大学第5章 非线性判别函数基本概念基本概念基于距离的分段线性判别函数基于距离的分段线性判别函数分段线性分类器设计分段线性分类器设计二次判别函数二次判别函数程序设计方法程序设计方法实际应用系统设计研究报告实际
11、应用系统设计研究报告哈尔滨工业大学哈尔滨工业大学第6章 特征的选择与提取1.1.引言引言2 2 类别可分离性判据类别可分离性判据3 3 特征选择特征选择4.4.特征提取特征提取60哈尔滨工业大学哈尔滨工业大学第7章 近邻法610.0.引言引言1.1.近邻法原理及其决策规则近邻法原理及其决策规则 2.2.快速搜索近邻法快速搜索近邻法3.3.剪辑近邻法剪辑近邻法4.4.压缩近邻法压缩近邻法621.1.近邻法原理及其决策规则近邻法原理及其决策规则 63【基本原理】 最小距离分类器是将各类训练样本划分成若干子类，并最小距离分类器是将各类训练样本划分成若干子类，并在每个子类中确定代表点，一般用子类的质心
12、或邻近质心的在每个子类中确定代表点，一般用子类的质心或邻近质心的某一样本为代表点。测试样本的类别则以其与这些代表点距某一样本为代表点。测试样本的类别则以其与这些代表点距离最近作决策。该法的缺点是所选择的代表点并离最近作决策。该法的缺点是所选择的代表点并不一定不一定能很能很好地代表各类好地代表各类, 后果将使错误率增加。后果将使错误率增加。 近邻法的基本思想：近邻法的基本思想： 增加代表点的数量有没有可能获得性能好的分类器呢增加代表点的数量有没有可能获得性能好的分类器呢?一种一种极端的情况是以全部训练样本作为极端的情况是以全部训练样本作为“代表点代表点”，计算测试样，计算测试样本与这些本与这些“
13、代表点代表点”，即所有样本的距离，并以最近邻者的，即所有样本的距离，并以最近邻者的类别作为决策。此为近邻法的基本思想。类别作为决策。此为近邻法的基本思想。 64【最近邻法决策规则 】若若则则其中其中 表示是表示是 类的第类的第 个样本。决策规则为个样本。决策规则为: 定义：将与测试样本最近邻样本类别作为决策的方法。定义：将与测试样本最近邻样本类别作为决策的方法。 对一个对一个 类别问题，每类有类别问题，每类有 个样本，个样本， ，则第则第 类类 的判别函数的判别函数65 最近邻法可以扩展成找测试样本的最近邻法可以扩展成找测试样本的 个最近样本作决策个最近样本作决策依据的方法。其基本规则是，在所
14、有依据的方法。其基本规则是，在所有 个样本中找到与测试个样本中找到与测试样本的样本的 个最近邻者；个最近邻者； 其中各类别所占个数表示成其中各类别所占个数表示成 则决策为：则决策为：【 -近邻法决策规则 】 注意：注意： 近邻一般采用近邻一般采用 为奇数，跟投票表决一样，避免因两为奇数，跟投票表决一样，避免因两种票数相等而难以决策。种票数相等而难以决策。 若若则则66【问题的提出】 上述讨论中可以看出，尽管近邻法有其优良品质，但是它的上述讨论中可以看出，尽管近邻法有其优良品质，但是它的一个严重弱点与问题是需要存储全部训练样本，以及繁重的距一个严重弱点与问题是需要存储全部训练样本，以及繁重的距离
15、计算量。但以简单的方式降低样本数量，只能使其性能降低，离计算量。但以简单的方式降低样本数量，只能使其性能降低，这也是不希望的。为此要研究既能减少近邻法计算量与存储量，这也是不希望的。为此要研究既能减少近邻法计算量与存储量，同时又不明显降低其性能的一些改进算法。同时又不明显降低其性能的一些改进算法。 改进算法大致基于两种原理改进算法大致基于两种原理。一种是对样本集进行组织与整。一种是对样本集进行组织与整理，分群分层，尽可能将计算压缩到在接近测试样本邻域的小理，分群分层，尽可能将计算压缩到在接近测试样本邻域的小范围内，避免与训练样本集中每个样本进行距离计算。范围内，避免与训练样本集中每个样本进行距
16、离计算。 另一种原理则是在原有样本集中挑选出对分类计算有效的另一种原理则是在原有样本集中挑选出对分类计算有效的样本，使样本总数合理地减少，以同时达到既减少计算量，又样本，使样本总数合理地减少，以同时达到既减少计算量，又减少存储量的双重效果。减少存储量的双重效果。672.2.快速搜索近邻法快速搜索近邻法683. 3. 剪辑近邻法剪辑近邻法694. 4. 压缩近邻法压缩近邻法70哈尔滨工业大学哈尔滨工业大学第8章 主成分分析(PCA)711.1.引言引言2 2 主成分分析主成分分析(PCA)(PCA)3 3 基于基于K-LK-L展开式的特征提取展开式的特征提取4.4.应用举例应用举例722.2.主成分分析主成分分析73根据方差最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据向量的线性组合。通过对原始数据的平移、尺度伸缩平移、尺度伸缩(减均值减均值除方差除方差)和坐标旋转坐标旋转(特征分解特征分解)，得到新的新的坐标系坐标系(特征向量特征向量)后，用原始数据在新坐标系下的投影投影(点积点积)来替代原始变量。 一一. . 主成分分析
