数字图像处理学数字图像处理学第第10章章 模式识别的理论和方法模式识别的理论和方法（第七讲）（第七讲） 10.5 模式识别的几种应用模式识别的几种应用模式识别的应用较广，大致可有如下几个方面：字符识别；医学诊断；遥感图像解译；人脸和指纹鉴别；污染监测；自动检查和自动化；可靠性；社会经济；语音识别和理解；考古等下面介绍一些实例 10．．5．．1 生物特征识别生物特征识别•生物特征是人的内在属性，具有很强的自身稳生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想定性和个体差异性，因此是身份验证的最理想依据生物特征包括人脸、指纹、虹膜、掌纹、依据生物特征包括人脸、指纹、虹膜、掌纹、DNADNA等人脸包含丰富的人类思想和情感信息，等人脸包含丰富的人类思想和情感信息，利用人脸特征进行身份验证由于具有直接、方利用人脸特征进行身份验证由于具有直接、方便、友好、使用者无任何心理障碍等优点，因便、友好、使用者无任何心理障碍等优点，因而有着极其广泛的应用前景而有着极其广泛的应用前景 4．．1 指纹识别指纹识别 指纹具有两大特性: 1) 没有两个人的指纹是相同的； 2) 当指纹不受损伤时终生不变。
所以它是识别人最有力的手段之一 指纹本身是一个无穷类问题，在应用中有不同的情况一种情况是对指纹进行核对查找，这是一个匹配问题当然不是匹配每根隆线，而是匹配特征如果档案数目很大，就要进行分类，把无穷类问题变成有限类问题，以减轻匹配负担指纹分析是标准的结构分析，分成小块后只需测量隆线的斜率，通常采用0到7，八个方向 ü 首先，指纹分为七类（平斗、左箕、右箕、平弓、帐弓、左双箕、右双箕）第一类再分为十八个小类，然后测量斜率总的过程是分类、分层、分窗口，在这个过程中包括细化，连接断线等处理;ü 尔后整个窗口用一个树代表，树的每一个分支是窗口中的一根隆线，然后找出文法;ü 最后做一树状自动机 据有关专家说，实验中大约有10％的指纹由于噪声大而难以识别识别一个指纹大约要50s钟，40s用于前后处理，10s钟用于结构分析美国在1965年开始进行指纹识别自动化研究，在1972年完成了叫做FINGER的系统北京大学模式识别国家实验室的指纹识别研究历经十几年的研究，已在公安部门及银行中得到了实际应用 2．人脸识别．人脸识别•人脸识别技术（人脸识别技术（Face RecognitionFace Recognition）就是利用）就是利用计算机分析人脸图像，从中提取有效的识别信计算机分析人脸图像，从中提取有效的识别信息，用来辨认身份的一门技术，它是典型的模息，用来辨认身份的一门技术，它是典型的模式识别问题。
完整的人脸识别问题不仅涉及图式识别问题完整的人脸识别问题不仅涉及图像处理、计算机视觉、人工智能、优化理论等像处理、计算机视觉、人工智能、优化理论等诸多学科的知识，同时与认知学、神经科学、诸多学科的知识，同时与认知学、神经科学、生理心理学的研究领域都有密切联系如同人生理心理学的研究领域都有密切联系如同人的指纹一样，人脸也具有唯一性人脸识别有的指纹一样，人脸也具有唯一性人脸识别有广泛的应用前景，如：广泛的应用前景，如： •①①在国家安全、公共安全领域有广泛用途，如：在国家安全、公共安全领域有广泛用途，如：身份认证、智能门禁、智能视频监控、海关身身份认证、智能门禁、智能视频监控、海关身份验证、司机驾照验证等都是典型的应用；在份验证、司机驾照验证等都是典型的应用；在刑事侦察领域，参照脸像库对特定人进行跟踪刑事侦察领域，参照脸像库对特定人进行跟踪识别；在民事和经济领域中，各类银行卡、金识别；在民事和经济领域中，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险的身份验证等都具有重要的应用价值社会保险的身份验证等都具有重要的应用价值 ②②网络信息安全领域：网络信息安全是随着网网络信息安全领域：网络信息安全是随着网络技术发展出现的一个需要解决的迫切问题。
络技术发展出现的一个需要解决的迫切问题而利用人脸识别技术可以进行网络安全登录控而利用人脸识别技术可以进行网络安全登录控制，应用于程序安全使用、数据库安全访问、制，应用于程序安全使用、数据库安全访问、文件加密、局域网和电子商务安全控制等文件加密、局域网和电子商务安全控制等 •③③家庭娱乐领域：人脸识别也具有一些有趣的家庭娱乐领域：人脸识别也具有一些有趣的应用，比如能够识别主人身份的智能玩具、家应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等政机器人，具有真实面像的虚拟游戏玩家等等•④④人机交互领域：人脸识别技术是当前人机交互领域：人脸识别技术是当前“多模多模态态”人机交互研究的主要内容之一，其目的是人机交互研究的主要内容之一，其目的是使人与计算机交互如同人与人之间交互一样轻使人与计算机交互如同人与人之间交互一样轻松，自然松，自然 •⑤⑤虚拟现实领域：虚拟环境中，有效的人脸识虚拟现实领域：虚拟环境中，有效的人脸识别与跟踪研究成果可以借助人像库和三维人脸别与跟踪研究成果可以借助人像库和三维人脸重建技术，构造更加逼真的人脸虚拟主持人重建技术，构造更加逼真的人脸虚拟主持人便是其应用之一。
便是其应用之一•⑤⑤人脸的识别、跟踪与重建也是人脸的识别、跟踪与重建也是MPEG-4MPEG-4标准中标准中的重要内容，是先进的人机界面、可视的重要内容，是先进的人机界面、可视/ /会议电视、计算机动画领域的关键技术会议电视、计算机动画领域的关键技术 •人脸识别系统取样方便，可以不接触目标就进人脸识别系统取样方便，可以不接触目标就进行识别，具有方便性和直观性，从而开发研究行识别，具有方便性和直观性，从而开发研究的实际意义更大与指纹图像不同的是，人脸的实际意义更大与指纹图像不同的是，人脸图像受到很多因素的干扰，如：人脸表情的多图像受到很多因素的干扰，如：人脸表情的多样性；在成像过程中的光照、图像尺寸、旋转、样性；在成像过程中的光照、图像尺寸、旋转、姿势变化等，使得同一个人，在不同环境下拍姿势变化等，使得同一个人，在不同环境下拍摄所得到的人脸图像不同，给识别带来很大难摄所得到的人脸图像不同，给识别带来很大难度因此人脸识别是一项具有挑战性的模式识度因此人脸识别是一项具有挑战性的模式识别课题 •人脸识别技术（人脸识别技术（Face Recognition Face Recognition Technology, Technology, 简称简称FRTFRT）的研究可以追溯到）的研究可以追溯到1919世纪末。
英国的高尔顿爵士发明的一套机械装世纪末英国的高尔顿爵士发明的一套机械装置，利用人的侧脸轮廓上的五个代表点及其导置，利用人的侧脸轮廓上的五个代表点及其导出的一组特征进行人脸的匹配和识别出的一组特征进行人脸的匹配和识别 •此后，一直到此后，一直到2020世纪世纪6060年代中后期，年代中后期，W. W. BledsoeBledsoe最先建立了半自动的人脸识别系统最先建立了半自动的人脸识别系统该系统使用手工方式确定一些点，然后利用这该系统使用手工方式确定一些点，然后利用这些点建立参数进行分类器的设计些点建立参数进行分类器的设计•进入进入2020世纪世纪7070年代，人脸识别的研究形成了第年代，人脸识别的研究形成了第一次高潮这些方法基本上采用人脸的一些几一次高潮这些方法基本上采用人脸的一些几何特征点，进行人脸识别这些方法对图像的何特征点，进行人脸识别这些方法对图像的约束条件较多，提取的特征数目较少，自动提约束条件较多，提取的特征数目较少，自动提取特征的准确度较低取特征的准确度较低 •从20世纪70年代到80年代末，人脸识别陷入低谷进入20世纪90年代以来，人脸识别研究受到了前所未有的重视其原因是多方面的：首先是来自于信息安全和商贸系统的需要，如证件核实、保安监视、身份鉴别等的需求带动了人脸识别技术研究的兴起；其次是计算机运算速度的提高，为人脸识别系统实用化提供了条件；另外，计算机网络的广泛应用，神经网络分类器的一些研究成果也推动了这一领域的发展。
•2020世纪世纪9090年代前期，研究的重点在人脸分割，年代前期，研究的重点在人脸分割，特征提取，基于统计或神经网络的分类器设计特征提取，基于统计或神经网络的分类器设计方面该时期的人脸识别数据库比较小，且研方面该时期的人脸识别数据库比较小，且研究多集中在静态人脸图像上存在的主要问题究多集中在静态人脸图像上存在的主要问题是：静态图像识别存在局限性，识别复杂场景是：静态图像识别存在局限性，识别复杂场景中人脸图像比较困难，相比之下，动态视频图中人脸图像比较困难，相比之下，动态视频图像序列下的识别相对容易解决像序列下的识别相对容易解决 •后来一些学者把注意力从静态图像转为动态的视频图像序列来识别人脸但是，在将理论诸实用的过程中，人们发现单样本进行识别的重要性和困难性，单单一张照片很难反映出人脸丰富的三维信息，所以，一些研究小组把注意力放在通过多张照片构造出三维人脸图像上来主要方法有基于代数特征的方法（Algebraic Features Based）和基于神经网络的方法（Neural Network Based）等 （（1）．）． 人脸识别系统的基本组成人脸识别系统的基本组成参数人脸图像库人脸检测定位特征提取和选择训练图像预处理识别特征提取和选择图像预处理人脸检测定位待测人脸图像训练过程识别过程 （（2 2））. . 人脸识别基本算法人脸识别基本算法1 1）） 基于几何特征的方法基于几何特征的方法 基于几何特征的方法基于几何特征的方法(Geometrical Features (Geometrical Features Based)Based)是早期的人脸识别算法。
该方法要求选取的是早期的人脸识别算法该方法要求选取的特征矢量有一定的独特性，既要反映不同人脸的差特征矢量有一定的独特性，既要反映不同人脸的差异，还要具有一定的弹性，以减少或者消除光照差异，还要具有一定的弹性，以减少或者消除光照差异等影响几何特征向量是以人脸器官的形状和几异等影响几何特征向量是以人脸器官的形状和几何关系为基础的特征向量，其分量通常包括人脸指何关系为基础的特征向量，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等定两点间的欧式距离、曲率、角度等 该方法的主要优点是：该方法的主要优点是：①①该算法提出较早，由于现在各种优秀特征提取算该算法提出较早，由于现在各种优秀特征提取算法（如动态模板、活动轮廓等）的提出，使得人法（如动态模板、活动轮廓等）的提出，使得人脸的几何特征描述越来越充分，在表情分析方面，脸的几何特征描述越来越充分，在表情分析方面，人脸的几何特征仍然是最有力的判据；人脸的几何特征仍然是最有力的判据； ②②基于几何特征的人脸识别算法符合人类识别的基于几何特征的人脸识别算法符合人类识别的机理，易于理解；机理，易于理解；③③对每幅图像只需要存储一个特征矢量，存储量对每幅图像只需要存储一个特征矢量，存储量小；小；④④对光照变化不太敏感对光照变化不太敏感 算法的不足是：算法的不足是：①① 对图像的约束条件较多，提取的特征数目较少，对图像的约束条件较多，提取的特征数目较少，自动提取特征的准确度较低；自动提取特征的准确度较低；②②从图像中抽取稳定的特征比较困难，特别是特从图像中抽取稳定的特征比较困难，特别是特征受到遮挡时更是如此；征受到遮挡时更是如此； ③③对强烈的表情变化和姿态变化的鲁棒性较差；对强烈的表情变化和姿态变化的鲁棒性较差；④④一般几何特征只描述了部件的基本形状与结构一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢关系，忽略了局部细微特征，造成部分信息丢失，因此，该方法较适合于粗分类。
失，因此，该方法较适合于粗分类 •2）） 基于神经网络的方法基于神经网络的方法•神经网络用于（神经网络用于（Neural Network Based）人脸识）人脸识别较早早期用于人脸识别的神经网络主要是别较早早期用于人脸识别的神经网络主要是Kohonen自联想映射神经网络，当人脸图像受噪自联想映射神经网络，当人脸图像受噪声污染严重或部分缺损时，用声污染严重或部分缺损时，用Kohonen网络恢复网络恢复完整的人脸的效果较好完整的人脸的效果较好Cottrell等人使用级联等人使用级联BP神经网络进行人脸识别，对部分受损的、光神经网络进行人脸识别，对部分受损的、光照有所变化的人脸图像识别能力也较好照有所变化的人脸图像识别能力也较好 •基于神经网络的方法将人脸直接用灰度图（二基于神经网络的方法将人脸直接用灰度图（二维矩阵）表征，通过训练把模式的特性隐含在维矩阵）表征，通过训练把模式的特性隐含在神经网络的结构和参数之中，即设计特定结构神经网络的结构和参数之中，即设计特定结构神经网络作为决策分类器所选用的神经网络神经网络作为决策分类器所选用的神经网络有：反向传播神经网络（有：反向传播神经网络（Back Propagation Back Propagation NNNN））, ,卷积神经网络（卷积神经网络（Convolution NNConvolution NN））, ,支持支持向量机（向量机（SVMSVM）等。
等 该算法的主要优点是：该算法的主要优点是：①①神经网络作为分类器具有很好的适应性和扩展神经网络作为分类器具有很好的适应性和扩展性；性；②②可以通过学习的过程获得其它方法难以实现的可以通过学习的过程获得其它方法难以实现的关于人脸识别的规律和规则的隐性表达对于关于人脸识别的规律和规则的隐性表达对于复杂的、难以显式描述的模式具有一定的优势；复杂的、难以显式描述的模式具有一定的优势； •③③神经网络在结构上更类似于人脑，编码存储神经网络在结构上更类似于人脑，编码存储方式是分布式，信息处理方式是并行的，能显方式是分布式，信息处理方式是并行的，能显著提高速度其缺点是：构造模型太大，参数著提高速度其缺点是：构造模型太大，参数繁多由于原始图像数据量十分庞大，因此神繁多由于原始图像数据量十分庞大，因此神经元数目通常很多，训练时间很长当网络结经元数目通常很多，训练时间很长当网络结构比较复杂，网络有许多参数（网络的层数、构比较复杂，网络有许多参数（网络的层数、节点个数、学习速度等）需要调整时可能导致节点个数、学习速度等）需要调整时可能导致过训练（过训练（OverfittingOverfitting）问题。
问题 •3 3）） 基于代数特征的方法基于代数特征的方法•这类算法是采用代数特征向量，即人脸图像在这类算法是采用代数特征向量，即人脸图像在由由““特征脸特征脸””张成的降维子空间上的投影基张成的降维子空间上的投影基于代数特征识别的主要原理是利用统计方法提于代数特征识别的主要原理是利用统计方法提取特征，从而形成子空间进行识别取特征，从而形成子空间进行识别 •基于代数特征的方法的基本处理过程为：将图基于代数特征的方法的基本处理过程为：将图像看作一个数值矩阵，对其进行像看作一个数值矩阵，对其进行SVDSVD分解，得分解，得到的奇异值作为人脸图像的描述由于奇异值到的奇异值作为人脸图像的描述由于奇异值向量与图像有一一对应关系而且具有较好的稳向量与图像有一一对应关系而且具有较好的稳定性和各种变换的不变性，代数特征反映了图定性和各种变换的不变性，代数特征反映了图像的本质，可以用做人脸特征的描述像的本质，可以用做人脸特征的描述 •该方法将该方法将K-LK-L变换用于人脸图像的最优表示；变换用于人脸图像的最优表示；TurkTurk和和PentlandPentland进一步提出了进一步提出了““特征脸特征脸””方法，方法，该方法以训练样本集的总体散布矩阵为产生矩该方法以训练样本集的总体散布矩阵为产生矩阵，经阵，经K-LK-L变换后得到相应的一组特征向量，变换后得到相应的一组特征向量，称作称作““特征脸特征脸””，这样，就产生了一个向量张，这样，就产生了一个向量张成的子空间，每一幅人脸图像通过投影都可以成的子空间，每一幅人脸图像通过投影都可以获得一组坐标系数，这组坐标系数表明了人脸获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置。
实验表明其具有较强的稳在子空间中的位置实验表明其具有较强的稳定性，可以作为人脸识别的依据定性，可以作为人脸识别的依据 •由于代数特征向量具有一定的稳定性，识别系由于代数特征向量具有一定的稳定性，识别系统对不同的倾斜角度，甚至不同的表情均有一统对不同的倾斜角度，甚至不同的表情均有一定的鲁棒性其主要不足是对表情的描述不够定的鲁棒性其主要不足是对表情的描述不够充分，难以用于表情分析充分，难以用于表情分析 （（3）．）． 当前主流算法当前主流算法1 1）） 特征脸（特征脸（eigenfaceeigenface）算法）算法•特征脸方法的优点：特征脸方法的优点：•①①图像的原始灰度数据直接用来学习和识别，图像的原始灰度数据直接用来学习和识别，不需要任何低级或中级处理；不需要任何低级或中级处理；•②②不需要人脸的几何和反射知识；不需要人脸的几何和反射知识；•③③通过低维可以有效的对高维数据进行压缩；通过低维可以有效的对高维数据进行压缩；•④④与其它匹配方法相比，识别简单有效与其它匹配方法相比，识别简单有效 •特征脸方法存在的不足：特征脸方法存在的不足：•①① 图像中所有的像素被赋予了同等的地位，可图像中所有的像素被赋予了同等的地位，可是角度、光照、尺寸及表情等干扰会导致识别是角度、光照、尺寸及表情等干扰会导致识别率下降，因此，须先进行尺度归一化处理；率下降，因此，须先进行尺度归一化处理；•②②在姿态和光照变化时识别率明显下降；在姿态和光照变化时识别率明显下降；•③③要求背景单一，；要求背景单一，；•④④学习时间长，只能离线计算。
学习时间长，只能离线计算 •2）） 基于基于Fisher线性判别分析算法线性判别分析算法•Fisher线性判别准则是模式识别里的经典算法，线性判别准则是模式识别里的经典算法，Fisher准则假设了不同类别在模式空间是线性准则假设了不同类别在模式空间是线性可分的，而引起它们可分的主要原因是不同人可分的，而引起它们可分的主要原因是不同人脸之间的差异脸之间的差异 •Fisher脸方法是对特征脸方法的一种很好的改脸方法是对特征脸方法的一种很好的改进，特征脸很大程度上反映了光照等的差异，进，特征脸很大程度上反映了光照等的差异，而而Fisher脸压制了图像中与识别信息无关的差脸压制了图像中与识别信息无关的差异根据P. N. Beelhumeur的实验结果，采用的实验结果，采用K-L变换的识别率是变换的识别率是81%，采用，采用Fisher方法的方法的识别率为识别率为97.4%很显然的，采用很显然的，采用Fisher脸有脸有了很大的改进了很大的改进 •3 3）） 弹性图匹配方法弹性图匹配方法•弹性图匹配方法（弹性图匹配方法（Elastic Graph MatchingElastic Graph Matching））是一种基于动态链接结构是一种基于动态链接结构(Dynamic Link (Dynamic Link ArchitectureArchitecture，，DLA)DLA)的方法。
它将人脸用格状的方法它将人脸用格状的稀疏图（即拓扑图）表示，图中的节点用图的稀疏图（即拓扑图）表示，图中的节点用图像位置的像位置的GaborGabor小波分解得到的特征向量标记，小波分解得到的特征向量标记，图的边用连接节点的距离向量标记图的边用连接节点的距离向量标记 •匹配时，首先寻找与输入图像的最相似的模型匹配时，首先寻找与输入图像的最相似的模型图，再对图中的每个节点位置进行最佳匹配，图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节点逼近模型图的对这样产生一个变形图，其节点逼近模型图的对应点的位置应点的位置Wiscott等人使用弹性图匹配方法，等人使用弹性图匹配方法，以以FERET图像库做实验，准确率达到图像库做实验，准确率达到97.3% •其优点是：其优点是：•①①人脸稀疏图（即拓朴图）的顶点采用了小波人脸稀疏图（即拓朴图）的顶点采用了小波变换特征，对光照、位移、旋转及尺度变化都变换特征，对光照、位移、旋转及尺度变化都不敏感•②②弹性图匹配法能保留二维图像的空间相关信弹性图匹配法能保留二维图像的空间相关信息而特征脸方法在将图像排成一维向量后，息而特征脸方法在将图像排成一维向量后，丢失了很多空间相关信息。
丢失了很多空间相关信息 •4 4）） 局部特征分析算法局部特征分析算法• 局部特征分析算法（局部特征分析算法（LFA: Local Feature LFA: Local Feature AnalysisAnalysis）是利用人脸的先验结构知识和人脸）是利用人脸的先验结构知识和人脸图像的灰度分布知识，先粗略找出人脸的特征图像的灰度分布知识，先粗略找出人脸的特征点，然后利用人脸弹性图来对其进行调整，最点，然后利用人脸弹性图来对其进行调整，最后在各个特征点处计算后在各个特征点处计算GaborGabor变换系数集合，变换系数集合，并以此来表示人脸的特征并以此来表示人脸的特征 •Penev和和Atick提出基于局部特征分析的方法，提出基于局部特征分析的方法，用于克服主成分分析法用于克服主成分分析法PCA不能提取物体局部不能提取物体局部结构性特征由于主成分分析（结构性特征由于主成分分析（PCA）本质上）本质上是一个非拓扑的线性滤波器，降维后损失的结是一个非拓扑的线性滤波器，降维后损失的结构信息无法在后续过程中弥补构信息无法在后续过程中弥补 •而局部信息和拓扑性质在模式识别分类中非常而局部信息和拓扑性质在模式识别分类中非常重要，同时这些特征更符合生物神经系统的识重要，同时这些特征更符合生物神经系统的识别机制。
此方法对基于全局别机制此方法对基于全局PCA模型提出一种模型提出一种局部特征的拓扑表示局部特征的拓扑表示•相对于传统的弹性图匹配方法，特征点预先被相对于传统的弹性图匹配方法，特征点预先被估算出来，而不是在整个图中检索，因此大大估算出来，而不是在整个图中检索，因此大大的降低了计算量的降低了计算量 5）） 非线性子空间算法非线性子空间算法 非线性子空间分析法（非线性子空间分析法（Non-Linear SubSpace））它代表了一种主流发展趋势主要有基于内核它代表了一种主流发展趋势主要有基于内核机方法（如：机方法（如：K-SVM，，K-PCA、、K-LDA）、）、局部线性嵌入方法（局部线性嵌入方法（LLE）、拉普拉斯特征脸）、拉普拉斯特征脸方法（方法（LE）等其主要思路：用较少数量的特）等其主要思路：用较少数量的特征对样本进行描述，采用非线性映射实现降维，征对样本进行描述，采用非线性映射实现降维，构造人脸特征子空间，进而通过分类器，实现构造人脸特征子空间，进而通过分类器，实现人脸识别与跟踪人脸识别与跟踪 •非线性子空间算法的最大特点：能够用非线性非线性子空间算法的最大特点：能够用非线性映射表示高阶人脸特征所含的有效信息，除具映射表示高阶人脸特征所含的有效信息，除具有线性子空间方法基于事例、特征学习与降维有线性子空间方法基于事例、特征学习与降维的特点以外，还具有更有效建模（的特点以外，还具有更有效建模（Lead more sensible modeling）和固有特征维发现）和固有特征维发现（（Discover intrinsic dimension）的优点。
的优点 •但是在高阶带来的计算量增加和寻找有效映射但是在高阶带来的计算量增加和寻找有效映射上仍需要改进以核主分量分析（上仍需要改进以核主分量分析（KPCA）为）为例，例，KPCA是基于数据的高阶统计的低维表示是基于数据的高阶统计的低维表示基础上，引入了更高阶统计独立分量（相关性）基础上，引入了更高阶统计独立分量（相关性）分析，具有比主分量分析（分析，具有比主分量分析（PCA）更有效的识）更有效的识别效果 （（4）） 人脸识别中的相似度比较方法人脸识别中的相似度比较方法•将待识别图像映射到特征空间后，需要确定训将待识别图像映射到特征空间后，需要确定训练集中的哪幅图像与之最相似一般有两种方练集中的哪幅图像与之最相似一般有两种方法确定图像间的相似程度一种方法是比较两法确定图像间的相似程度一种方法是比较两幅图像幅图像N维像素向量间的距离；第二种方法是维像素向量间的距离；第二种方法是估算两幅图像的相似度估算两幅图像的相似度 计算向量间距离和相似度的五种方法计算向量间距离和相似度的五种方法1）） 准则准则 准则又称城市阻塞准则或和准则，实际上它来准则又称城市阻塞准则或和准则，实际上它来自明氏距离（自明氏距离（Minkowski distance）。
明氏距）明氏距离的定义如下：离的定义如下： 当当 时，就是绝对距离时，就是绝对距离 2）） 准则准则 准则又称欧式准则，它同样来自明氏距离准则又称欧式准则，它同样来自明氏距离当当 时，即得到时，即得到 准则，它的平方根又准则，它的平方根又称欧式距离图像称欧式距离图像A和图像和图像B的的 准则为：准则为： 3）） 协方差协方差 协方差方法也被称作角度方法，它计算两个归协方差方法也被称作角度方法，它计算两个归一化向量间的角度通过两个归一化向量的点一化向量间的角度通过两个归一化向量的点积来计算图像积来计算图像A和图像和图像B之间的协方差为：之间的协方差为： 4）） 马氏距离马氏距离 当特征向量之间具有相关性，而且各个特征向量当特征向量之间具有相关性，而且各个特征向量对距离测度的贡献不一样的时候，可以采用马氏对距离测度的贡献不一样的时候，可以采用马氏距离（距离（Mahalanobis distance）其定义为：）其定义为：其中，其中， 代表特征向量的代表特征向量的协方差矩方差矩阵。
5）） 相关性相关性 相关性表示了两幅图像像素间的变化速度它相关性表示了两幅图像像素间的变化速度它计算出来的结果在计算出来的结果在-1到到1之间，之间，-1表示两幅图像表示两幅图像互不相关，互不相关，1表示两幅图像完全一样图像表示两幅图像完全一样图像A和和图像图像B之间的相关性可表示为：之间的相关性可表示为：其中， 表示A的平均数， 表示A的标准差 （（5））.非线性子空间算法实现人脸识别非线性子空间算法实现人脸识别•人脸识别中特征的维数通常都是非常高的，实人脸识别中特征的维数通常都是非常高的，实际上在这样高维空间中的分布很不紧凑，因而际上在这样高维空间中的分布很不紧凑，因而不利于分类，计算上的复杂度也非常大为了不利于分类，计算上的复杂度也非常大为了得到人脸图像的较紧凑分布，得到人脸图像的较紧凑分布，Kirby和和Turk等等人首次把主分量分析的子空间思想引入到人脸人首次把主分量分析的子空间思想引入到人脸识别中，并获取了较大的成功识别中，并获取了较大的成功 • 子空间分析的思想就是根据一定的性能目标来子空间分析的思想就是根据一定的性能目标来寻找一线性或非线性的空间变换，把原始数据寻找一线性或非线性的空间变换，把原始数据压缩到一个低维子空间，使数据在子空间中的压缩到一个低维子空间，使数据在子空间中的分布更加紧凑，为数据的更好描述提供了手段。
分布更加紧凑，为数据的更好描述提供了手段从而，使计算的复杂度也得到了大大降低从而，使计算的复杂度也得到了大大降低 •目前在人脸识别中较为成功应用的线性子空间目前在人脸识别中较为成功应用的线性子空间方法有：方法有：•主分量分析（主分量分析（principal component analysis, PCA））•线性判决分析线性判决分析(linear discriminant analysis, LDA)、、 •矢量量化（矢量量化（vector quantization, VQ）、）、•独立元分析独立元分析(independent component analysis, ICA)•非负矩阵因子非负矩阵因子(non-negative matrix factorization, NMF)，， •基于核技术的非线性子空间分析方法有：基于核技术的非线性子空间分析方法有：•核主分量分析（核主分量分析（kernel principal component analysis, KPCA））•核核Fisher判决分析判决分析(kernel fisher discriminant analysis, KFDA)等。
等 •1）） 主分量分析法（主分量分析法（PCA））• 主分量分析法的主要思想是选择样本点分布主分量分析法的主要思想是选择样本点分布方差大的坐标轴进行投影，来降低维数而使信方差大的坐标轴进行投影，来降低维数而使信息量损失最少，这样就把问题转化为求样本数息量损失最少，这样就把问题转化为求样本数据协方差矩阵的特征值问题据协方差矩阵的特征值问题 •PCA方法将包含人脸图像区域看作一种随机变方法将包含人脸图像区域看作一种随机变量，因此，可以采用量，因此，可以采用K-L变换得到正交变换基，变换得到正交变换基，对应其中较大的特征值的基底具有与人脸相似对应其中较大的特征值的基底具有与人脸相似的形状 •PCA利用这些基底的线性组合可以描述和逼近利用这些基底的线性组合可以描述和逼近人脸，因此可以进行人脸的识别和重建识别人脸，因此可以进行人脸的识别和重建识别过程就是把待识别人脸映射到由特征脸张成的过程就是把待识别人脸映射到由特征脸张成的子空间中，与库中人脸的子空间位置进行比较子空间中，与库中人脸的子空间位置进行比较或匹配 •①① 计算特征脸计算特征脸•特征脸是通过计算一系列训练集图像的像素点特征脸是通过计算一系列训练集图像的像素点的协方差矩阵的特征向量确定的。
假设训练集的协方差矩阵的特征向量确定的假设训练集中有中有P幅人脸图像，每幅图像的像素值构成一幅人脸图像，每幅图像的像素值构成一个个N维列向量中，维列向量中， 这这P幅图像的平均值向量为：幅图像的平均值向量为： 每个人脸图像每个人脸图像 与平均值向量与平均值向量m的差值向量为：的差值向量为： •将所有图像的向量结合在一起，形成了一个大将所有图像的向量结合在一起，形成了一个大小的矩阵，小的矩阵，将矩阵将矩阵 的转置矩阵与的转置矩阵与 相乘得到其协方差相乘得到其协方差矩阵：矩阵： •假设假设P
值对应的特征向量反映了图像间的最小差异 •通过特征空间映射标识人脸有三个基本步骤通过特征空间映射标识人脸有三个基本步骤首先，通过对训练集图像进行训练创建特征空首先，通过对训练集图像进行训练创建特征空间；其次，训练集图像被映射到特征空间；最间；其次，训练集图像被映射到特征空间；最后，将待测图像映射到特征空间，通过与映射后，将待测图像映射到特征空间，通过与映射到特征空间的训练集图像进行比较，实现人脸到特征空间的训练集图像进行比较，实现人脸识别 4.1.2.1 创建特征空间创建特征空间•计算每幅图像像素矩阵与均值矩阵的差值：计算每幅图像像素矩阵与均值矩阵的差值：每一幅训练集中的图像都必须进行这项操作，每一幅训练集中的图像都必须进行这项操作，因为主分量分析的前提是因为主分量分析的前提是 所以，计算训练集中图像的均值矩阵和计算图像像计算训练集中图像的均值矩阵和计算图像像素矩阵与均值矩阵的差值，即为所得素矩阵与均值矩阵的差值，即为所得 •创建数据矩阵：训练集图像完成了步骤创建数据矩阵：训练集图像完成了步骤1的计的计算后，就把它们结合在一个的算后，就把它们结合在一个的 数数据矩阵中，其中：据矩阵中，其中：P为训练集中图像的个数，为训练集中图像的个数，矩阵中的每一列代表一幅图像的所有像素，矩阵中的每一列代表一幅图像的所有像素，如式（如式（10－－186）计算所得。
计算所得 •计算协方差矩阵：数据矩阵乘以其转置矩阵计算协方差矩阵：数据矩阵乘以其转置矩阵就得到了数据矩阵的协方差矩阵，如式（就得到了数据矩阵的协方差矩阵，如式（10－－187）所示 •计算协方差矩阵的特征值和特征向量：协方计算协方差矩阵的特征值和特征向量：协方差矩阵的特征值和特征向量满足下式，差矩阵的特征值和特征向量满足下式，这里，这里，V为特征值所对应的特征向量的集合为特征值所对应的特征向量的集合 •对特征向量进行排序：将协方差矩阵的特征值对特征向量进行排序：将协方差矩阵的特征值 按由大到小的顺序进行排序，特征按由大到小的顺序进行排序，特征值值 所对应的特征向量也按同样的顺序所对应的特征向量也按同样的顺序排列 •排序只针对非零特征值所对应的特征向量这排序只针对非零特征值所对应的特征向量这个排序后的特征向量集就是特征空间个排序后的特征向量集就是特征空间V，，V中中的每一列代表一个列向量的每一列代表一个列向量 4.1.2.2 映射训练集图像映射训练集图像•每一个减去均值矩阵之后的训练集图像向量（每一个减去均值矩阵之后的训练集图像向量（ ）都要映射到特征空间。
通过计算特征空间矩）都要映射到特征空间通过计算特征空间矩阵的转置矩阵与每一幅图像的像素向量（阵的转置矩阵与每一幅图像的像素向量（ ））的乘积，将训练集图像向量（的乘积，将训练集图像向量（ ）映射到特征）映射到特征空间 4.1.2.3 识别待测图像识别待测图像•每一幅待测图像首先都要通过减去均值向量得每一幅待测图像首先都要通过减去均值向量得到一列向量，然后被投影到由到一列向量，然后被投影到由V定义的特征空定义的特征空间中即：即：其中其中 且且 •将待测图像的投影与每一个训练集的投影进行将待测图像的投影与每一个训练集的投影进行比较，与待测图像投影最接近的训练集图像就比较，与待测图像投影最接近的训练集图像就是我们要识别的训练集中的图像可以用类似是我们要识别的训练集中的图像可以用类似的方法对图像进行比较；最普通的是使用的方法对图像进行比较；最普通的是使用 标准 （（6））. 人脸识别的统计结果人脸识别的统计结果• 根据图根据图5.15.1和图和图5.25.2所示的训练和识别的流程图所示的训练和识别的流程图在在Microsoft Visual C++ 6.0Microsoft Visual C++ 6.0环境下编程测试环境下编程测试KPCAKPCA人脸识别效果，采用美国的人脸识别效果，采用美国的YaleYale人脸库，人脸库， •图像库中共图像库中共1515人，每人人，每人1111张照片，人脸数目共张照片，人脸数目共计为计为165165。
每人每人1010幅图像作训练，一幅做测试，幅图像作训练，一幅做测试，识别率定义如下：识别率定义如下： • 其中，其中，n n为正确识别出的人脸个数，为正确识别出的人脸个数，N N为训练集为训练集中的人数利用中的人数利用PCAPCA进行人脸识别的实验结果进行人脸识别的实验结果为：为： 87.5 ％ 4．．2 模式识别在医学上的应用模式识别在医学上的应用 模式识别在医学图像方面的应用还不多，主要模式识别在医学图像方面的应用还不多，主要是医学图片在预处理和分割等方面的问题还没是医学图片在预处理和分割等方面的问题还没有解决，大部分工作尚在解决此类问题有解决，大部分工作尚在解决此类问题 染色体分类是句法方法的一个例子，目前只用染色体分类是句法方法的一个例子，目前只用于形状分类，其实真正染色体的分类还要用到于形状分类，其实真正染色体的分类还要用到染色体本身灰度的变化一般作法是先找到染染色体本身灰度的变化一般作法是先找到染色体，然后扫描、分开、找到染色体的方向，色体，然后扫描、分开、找到染色体的方向，找到中心，测量臂长、灰度等参数，然后加以找到中心，测量臂长、灰度等参数，然后加以识别染色体分类系统的框图如图识别。
染色体分类系统的框图如图10—34所示目前有资料谈到染色体的正确识别率为目前有资料谈到染色体的正确识别率为93.7％ 除染色体分类，在医学中的应用还有血球分类除染色体分类，在医学中的应用还有血球分类目前有的医院使用目前有的医院使用5类分类器，可以做到类分类器，可以做到95％的正％的正确分类分类方法与染色体分类大致相同此外，确分类分类方法与染色体分类大致相同此外，还有细胞分类，光透视照片分析等等还有细胞分类，光透视照片分析等等 4．．3 模式识别在自动检测中的应用模式识别在自动检测中的应用 模式识别的一个较为广泛的应用领域是自动检测，它包括自动视觉检查及工业零件的自动识别等等在生产过程中，为了排除次品和查出与故障有关的零件隐患等，要在生产过程中用目测方法对产品进行外观检查，但目测法有因人而异和漏检的问题 为此，有必要研制能在一定的标准条件下定量为此，有必要研制能在一定的标准条件下定量的一个不漏地进行检查的装置，这就是利用模的一个不漏地进行检查的装置，这就是利用模式识别技术的自动外观检查装置式识别技术的自动外观检查装置 目前已实用的自动外观检查装置有很多目前已实用的自动外观检查装置有很多: :ü 漆包线自动外观检查装置漆包线自动外观检查装置ü 彩色显像管阴罩的自动外观检查装置彩色显像管阴罩的自动外观检查装置ü 二极管基片检查二极管基片检查ü 交换机继电器接点检查交换机继电器接点检查ü 印刷电路板自动外观检查印刷电路板自动外观检查 等等都已付诸实用。
下面简略介绍其中几种等等都已付诸实用下面简略介绍其中几种检测原理检测原理 4．．3．．1 印刷电路板自动外观检查装置印刷电路板自动外观检查装置 在电子技术高度发展的今天，几乎所有的电气在电子技术高度发展的今天，几乎所有的电气装置中都要用到印刷电路板，特别是电子计算装置中都要用到印刷电路板，特别是电子计算机中的印刷电路板，已达到高密度多层化因机中的印刷电路板，已达到高密度多层化因此，用目测法检查缺陷相当困难甚至已不可能此，用目测法检查缺陷相当困难甚至已不可能 大部分印刷电路板的缺陷都是由一些细微的疵大部分印刷电路板的缺陷都是由一些细微的疵点造成的，只要从图案中检查出细微的图案差点造成的，只要从图案中检查出细微的图案差错，就能防止大部分缺陷错，就能防止大部分缺陷 在识别微细伤痕时，要从可能含有伤痕的输入图像中先做出不包含任何伤痕的图像作为模板，这种模板称为准正常图像然后将准正常图像与输入图像进行比较，识别出与准正常图像有差别的部分，判定其为疵点或伤痕 准正常图像的制作方法如图10—35所示图(a)是输入图像，其中有微小的斑疵为消除图像中的疵点，首先把图像放大，如图(b)，(c)把黑色部分放大，紧接着再把黑色部分等量缩小，则图中的白色疵点去掉了。
然后均匀放大白色部分，再等量缩小，如图(d),(e)所示，此时黑色疵斑也去掉了最后得到图(e)所示的准正常图像 印刷电路板外观检查装置的方框图如图10—36所示这种装置用摄像机来检查，首先把图像转换成240×320个点阵像素，然后作二值处理，提取细微部分，从而判定伤痕这种方法处理一张图像约需 4．．3．．2 彩色显像管阴罩底板的自动外观检查彩色显像管阴罩底板的自动外观检查 彩色显像管阴罩的作用是要确保每种颜色的所有荧彩色显像管阴罩的作用是要确保每种颜色的所有荧光点仅受其相应的电子束的轰击，所以阴罩的制造光点仅受其相应的电子束的轰击，所以阴罩的制造精度直接关系到显像管色彩的准确度与图像的鲜明精度直接关系到显像管色彩的准确度与图像的鲜明度阴罩板上精确地开有几十万个宽度阴罩板上精确地开有几十万个宽0.3mm，长，长0.6mm的带式图案的带式图案 在阴罩的制作过程中，采用光刻法首先在钢在阴罩的制作过程中，采用光刻法首先在钢板上涂上光致抗蚀剂，将要使用的玻璃底板紧板上涂上光致抗蚀剂，将要使用的玻璃底板紧贴于阴罩的原板上曝光，以便使玻璃底板上的贴于阴罩的原板上曝光，以便使玻璃底板上的图案转印到阴罩原板上，所以要求玻璃底板图图案转印到阴罩原板上，所以要求玻璃底板图案尺寸精度高，而且无缺陷。
案尺寸精度高，而且无缺陷 图图10—37示出了玻璃底板和带式图案的缺陷示出了玻璃底板和带式图案的缺陷图图(a)的玻璃底板上有两张底板图案带式图案的玻璃底板上有两张底板图案带式图案中的缺陷示于图中的缺陷示于图(b)由于10μm以上的缺损，以上的缺损，边缘突起，内部缺陷，多余部分以及带式图案边缘突起，内部缺陷，多余部分以及带式图案的尺寸误差等均与阴罩质量的低劣有关，的尺寸误差等均与阴罩质量的低劣有关， 所以要对上述各项进行全面检查，然后予以修所以要对上述各项进行全面检查，然后予以修正过去，上述检查都是在显微镜下用目测法正过去，上述检查都是在显微镜下用目测法进行，现在可用图像识别技术自动检出缺陷进行，现在可用图像识别技术自动检出缺陷 检测原理如图检测原理如图10—38所示从玻璃底板背面照明，所示从玻璃底板背面照明，用物镜放大底板图案，然后用光敏阵列器件检测用物镜放大底板图案，然后用光敏阵列器件检测该阵列器件是在纵向排列有该阵列器件是在纵向排列有128个大小为个大小为25μm×25μm的光敏元件的光敏元件 玻璃底板在方向上往复运动，这时，电光源、玻璃底板在方向上往复运动，这时，电光源、照明透镜、物镜及光电阵列器件组成一个整体，照明透镜、物镜及光电阵列器件组成一个整体，在在y方向上间歇地以一定节距作进给运动，这方向上间歇地以一定节距作进给运动，这样就可全面检测底板图案。
样就可全面检测底板图案 •检查内容如下：检查内容如下： （１）测量图案宽度、长度及中心线的偏差量；（１）测量图案宽度、长度及中心线的偏差量； （２）提取超过（２）提取超过10μm的微小部分；的微小部分； （３）检查图案的全部缺陷３）检查图案的全部缺陷 为了提高速度用了五个检测头，每个检测头以为了提高速度用了五个检测头，每个检测头以300个图案个图案/s的速度对带式图案进行检查检测的速度对带式图案进行检查检测信息送入计算机，用模板匹配法判断是否合格信息送入计算机，用模板匹配法判断是否合格 4．．3．．3 漆包线自动外观检查漆包线自动外观检查漆包线大量用于电力与电子工业中若在漆包线漆包线大量用于电力与电子工业中若在漆包线表面上有漆疙瘩或有掉漆缺陷，漆包线的绝缘性表面上有漆疙瘩或有掉漆缺陷，漆包线的绝缘性能就会下降或绕线不齐，这会降低产品性能自能就会下降或绕线不齐，这会降低产品性能自动检测装置可检测的漆包线上最小缺陷尺寸为动检测装置可检测的漆包线上最小缺陷尺寸为0.1mm×0.03mm 它的基本检测原理是用光均匀地向线上一点照它的基本检测原理是用光均匀地向线上一点照明，如果有缺陷则会产生光的漫反射，没有缺明，如果有缺陷则会产生光的漫反射，没有缺陷则不会产生漫反射，由此可通过检测光的漫陷则不会产生漫反射，由此可通过检测光的漫反射识别出缺陷。
反射识别出缺陷 4．．3．．4 继电器接点缺陷检测继电器接点缺陷检测继电器转换开关是以镀有继电器转换开关是以镀有Au-Pd的小铜片作为的小铜片作为接点的，为了减少接触电阻用喷沙法把表面毛接点的，为了减少接触电阻用喷沙法把表面毛刺打光接点大小为刺打光接点大小为0.35mm×0.8mm这种接点表面会产生如图点表面会产生如图10—39所示的各种缺陷所示的各种缺陷 由于位置偏差、尺寸不对、表面伤痕、附着杂由于位置偏差、尺寸不对、表面伤痕、附着杂质、形状不规则等等有可能导致接点接触不良质、形状不规则等等有可能导致接点接触不良所以要进行严格检查，排除次品焊接溶渣对所以要进行严格检查，排除次品焊接溶渣对焊点本身并无不良影响，但长期使用会脱落，焊点本身并无不良影响，但长期使用会脱落，附着在接点接触部分或其它机构上为此，也附着在接点接触部分或其它机构上为此，也要剔除有焊接溶渣的接点要剔除有焊接溶渣的接点 图图10—39 接点的各种缺陷示例接点的各种缺陷示例 在检查中利用显微镜，用照明灯从正上方对焊接在检查中利用显微镜，用照明灯从正上方对焊接点表面照明并由摄像机摄取图像此时，平坦部点表面照明并由摄像机摄取图像。
此时，平坦部分明亮，点轮廓、伤痕、杂质、焊接溶渣等缺陷分明亮，点轮廓、伤痕、杂质、焊接溶渣等缺陷部分会使照明光的一部分漫反射，从而使向正上部分会使照明光的一部分漫反射，从而使向正上方反射回去的那部分光的分量减少方反射回去的那部分光的分量减少 •把电视摄像机检出的接点的轮廓象在把电视摄像机检出的接点的轮廓象在x方向予方向予以投影，作出暗区频率分布曲线，便可做精密以投影，作出暗区频率分布曲线，便可做精密检查基于这一点，设制内框和外框，并规定检查基于这一点，设制内框和外框，并规定其中有其中有50μm以上的暗区就定为缺陷如图以上的暗区就定为缺陷如图10—40所示，从中也可检查出内框有伤痕，外所示，从中也可检查出内框有伤痕，外框有溶渣这种装置框有溶渣这种装置32个接点的检查时间为个接点的检查时间为6s钟 图图1010——40 40 转换接点缺陷检出转换接点缺陷检出原理原理 除上述几种检查外，模式识别还用于二极管芯片的除上述几种检查外，模式识别还用于二极管芯片的自动外观检查它可自动筛选出有潜在缺陷的芯片自动外观检查它可自动筛选出有潜在缺陷的芯片这个检查装置可检出这个检查装置可检出0.1mm以上的缺陷，其检查速以上的缺陷，其检查速度为每秒度为每秒10个芯片。
个芯片 模式识别在工业及其他领域中的应用还有焊缝模式识别在工业及其他领域中的应用还有焊缝 缺陷自动识别、机械零件自动分类、汽车类型识缺陷自动识别、机械零件自动分类、汽车类型识别、信件自动分拣、药品包装、晶体管组装系统别、信件自动分拣、药品包装、晶体管组装系统中基片位置自动识别等等大量的用途中基片位置自动识别等等大量的用途 在遥感中对航片及卫片的分析、分类也是模式在遥感中对航片及卫片的分析、分类也是模式识别的一个重要领域识别的一个重要领域 产品质量检测实例 产品质量检测实例 汽车牌照识别汽车牌照识别 电路板零件缺失检测 同时模式识别也是研制带有视觉及听觉系统同时模式识别也是研制带有视觉及听觉系统的机器人的不可缺少的组成部分的机器人的不可缺少的组成部分 尤其是当今人机自动交互的研究中，模式识尤其是当今人机自动交互的研究中，模式识别几乎是最主要的技术别几乎是最主要的技术 随着模式识别理论的日益深入的研究，它的应随着模式识别理论的日益深入的研究，它的应用领域也会日益扩大，它将成为人类生产实践用领域也会日益扩大，它将成为人类生产实践中不可缺少的有力工具。
中不可缺少的有力工具。