《面部表情识别》由会员分享，可在线阅读，更多相关《面部表情识别（68页珍藏版）》请在金锄头文库上搜索。
1、<p><p>&lt;p&gt;&amp;lt;p&amp;gt;&amp;amp;lt;p&amp;amp;gt;基于信息融合的面部表情分析与识别研究生：刘松指导老师：应自炉学科专业：信号与信息处理论文选题来源&amp;amp;amp;#216;广东自然科学基金项目：（032356）研究现状&amp;amp;amp;#216;国际上对人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究尤其美国、日本。进
2、入90年代对人脸表情识别的研究变得非常活跃吸引了大量的研究人员和基金支持EI可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。&amp;amp;amp;#216;国内国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有人员从事人脸表情识别的研究目前面部表情识别的主要方法：&amp;amp;amp;#216;基于模板匹配的面部
3、表情识别方法&amp;amp;amp;#216;基于神经网络的面部表情识别方法&amp;amp;amp;#216;基于规则的人脸面部表情识别方法&amp;amp;amp;#216;基于随机序列模型的面部表情识别方法&amp;amp;amp;#216;其他方法，比如支持向量机，小波分析等论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上
4、，提出基于RBF网络的多特征融合的面部表情识别面部表情识别：一般可描述为给定一个静止人脸图像或者动态的人脸图像序列，利用已有的人脸表情数据库确定图像中的一个人或者多个人的面部表情，研究内容包括以下三方面：人脸检测:即从各种不同的场景中检测出人脸的存在并确定其位置.面部表情特征提取:即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式。通常的表示方式包括几何特征、代数特征、固定特征模板、云纹图、3D网格等。面部表情识别：就是将待识别的人脸面部表情和数据库中的已知人脸面部表情比较，得出相关信息。这一过程是选择适当的人脸面部表情表示方式与匹配策略论文主要工作1.介绍了信息融合在面部表情
5、识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别信息融合与面部表情分析&amp;amp;amp;#216;信息融合就是把来自多个信息源的目标信息合并归纳为一个具有同意表示形式输出的推理过程其基本的出发点是通过对这些信息源所提供的信息的合理支配和使用利用多个信源在时间或空间上的冗余性和互补性对这些信息进行综合处理以获得对被测对象具有一致性的解释和描述使得该信息系统获得比它得各
6、个组成部分更优越的性能。&amp;amp;amp;#216;人脸脸面部表情识别识别包含大量的变变量反映待识识别别目标标各要素的非度量形式允许许许许多类类型的表示技术术每一种技术术又可以采用不同的方法进进行计计算。基于信息融合面部表情识别的三个模型v基于像素层融合的面部表情识别v基于特征层融合的面部表情识别v基于决策层融合的面部表情识别基于像素层融合的面部表情识别&amp;amp;amp;#216;这种方法对每幅图像预处理之前进行像素层融合后得到一个融合的人脸图像数据并在此基础上再进行特征提取和面部表情识别。基于特征层融合的面部表情识别?这种方法对每个传感器的观测
7、数据进行特征的抽取以得到一个特征向量然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。基于决策层融合的面部表情识别?这种方法对每个传感器都执行面部表情特征提取和面部表情识别，然后对多个识别结果进行信息融合从而得出一个面部表情判决结果再融合来自每个传感器的面部表情判决。论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别基于单特征
8、单分类器的面部表情识别?基于神经网络级联的面部表情识别?基于几何特征的面部表情识别?基于均值主元分析的面部表情识别?基于Fisher线性判别的面部表情识别基于神经网络级联的面部表情识别?网络级联的面部表情识别结构?BP网络的算法流程?网络级联的面部表情识别的实验结果网络级联的面部表情识别结构网络级联的面部表情识别流程网络级联的面部表情识别的实验结果在两个数据库上进行实验，从耶鲁大学的YaleFace数据库中选取60幅人脸图像，共15个人，4幅人，其中训练样本56幅，14个人，4幅人，测试样本为剩下的4幅图像，1个人，4人，通过随机变换训练样本和测试样本，我们重复15次这样的实验。从日本女性表情
9、数据库中（JAFFE）选取120幅图像，共10个人，12幅人，其中84幅图像作为训练样本，7个人，12幅人，测试样本为36幅图像，3个人，12幅人。通过随机变换训练样本和测试样本，我们重复10次这样的实验。日本女性表情数据库上的实验?SOFM权值向量图BP网络性能图表情类型识别结果Happy76.7%Normal73.3%Sad70%Surprise80%YaleFace数据库上的实验SOFM权值向量图BP网络性能图表情类型实验结果Happy66.7%Normal73.3%Sad60%Surprise80%基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别
10、基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于几何特征的面包表情识别&amp;amp;amp;#216;面部特征点&amp;amp;amp;#216;几何特征向量的形成&amp;amp;amp;#216;识别流程&amp;amp;amp;#216;实验结果面部特征点几何特征的形成基于几何特征的面部表情识别流程?1.在人脸图像上标记24个面部特征点.?2.按照上表得到12个测量距离对测量距离按上面的公式进行归一化处理得到12维局部特征?3.读入人脸库。读入每一个人脸图像几何特征数据并转化为一维的向量，对于一
11、个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集。?4.把所有测试图像和训练图像进行比较，确定待识别的样本的所属类别。本文采用最近距离分类器进行识别两个数据库上的实验结果YaleFace数据库日本女性表情数据库表情类型实验结果Happy73.3%Normal66.7%Sad60%Surprised73.3%表情类型识别结果Happy76.7%Normal70%Sad73.3%Surprised80%基于单特征单分类器的面部表情识别v基于神经网络级联的面部表情识别v基于几何特征的面部表情识别v基于均值主元分析的面部表情识别v基于Fisher线性判别的面部表情识别基于均值主元分析的
12、面部表情识别&amp;amp;amp;#216;主元分析&amp;amp;amp;#216;主元分析的改进：均值主元分析&amp;amp;amp;#216;面部表情识别流程&amp;amp;amp;#216;实验结果主元分析考虑维图像空间的个人脸图像每个样本属于类中的一类考虑将维特征空间投影到维特征空间的线性变换。用表示列向量正交的矩阵。变换后的新的向量由下式线性变换定义:总离散度矩阵:其中是所有样本的平均值，经过线性变换得到的新的特征向量的离散度是。PCA选择最优的投影变换:是按照降序排列的前个特征值对应的特征向量，这种变换变化
13、就称为主元分析。由所组成的空间就是面部表情特征空间。主元分析的改进：均值主元分析传统的主元分析的产生矩阵是协方差矩阵也叫总体离散布矩阵总体离散布矩阵是有两部分组成:类间离散布矩阵和类内离散布矩阵，而改进算法只考虑类间离散度矩阵。设训练样本集共有N个训练样本分为c类为第i样本的数目其中是表示第个人脸图像的列向量。每一类的均值为：总均值为：类间离散度矩阵：相对于传统的主元分析其基本区别是以每一类的平均值代替类内的具体图像我们称为MPCA。由于每一类平均值是类内图像的一个线性叠加因此每一类的平均值必然保留了相当的各具体图像的变化特征换句话说对各图像的变化特征进行了一定程度的压缩处理，而且保留的特征更
14、有利于表情模式的识别。关于这一点我们将在后面的实验中加以说明，用每一类的平均值代替类内的具体图像的另一个明显的好处就是训练时间明显降低。面部表情识别流程?1.人脸图像预处理。主要包括几何归一化和灰度归一化。?2.读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集，假定图像的大小是wh（w和h分别维图像的宽度和高度），用于训练的人脸个数是n1，测试的图像个数是n2，令m=wh，则训练集mn1是一个的矩阵，测试集是mn2的矩阵。第幅人脸可以表示为：?3.计算每一类的均值、总均值和类间离散度矩阵。?4.取类间离散度矩阵为
15、KL变换生成矩阵，进行KL变换。?5.计算生成矩阵的特征值和特征向量，构造特征子空间。首先把特征值从大到小进行排序，同时，其对应的特征向量的顺序也作相应的调整。然后选取其中一部分构造特征子空间。特征向量具体选取多少，本文采取实验的方法进行确定。?6.把训练图像和测试图像投影到上一步骤构造的特征子空间中。每一幅人脸图像投影到特征子空间以后，就对应于子空间中的一个点。同样，子空间中的任一点也对应于一幅图像。?7.把投影到子空间中的所有测试图像和训练图像进行比较，确定待识别的样本的所属类别。本文采用最近邻距离分类器进行识别。实验结果YaleFace数据库MPCA和PCA比较日本女性表情数据库表情类型
16、PCA识别结果MPCA识别结果Happy66.7%73.3%Normal73.3%73.3%Sad60%66.7%Surprised73.3%80%比较项目MPCAPCA主元数目3842训练时间0.090.25表情类型PCA识别结果MPCA识别结果Happy76.7%80%Normal73.3%76.7%Sad70%73.3%Surprised80%83.3%基于单特征单分类器的面部表情识别v基于神经网络级联的面部表情识别v基于几何特征的面部表情识别v基于均值主元分析的面部表情识别v基于Fisher线性判别的面部表情识别基于Fisher线性判别的面部表情识别&amp;amp;a
17、mp;#216;Fisher线性判别&amp;amp;amp;#216;Fisher线性判别的改进：TPCA+FLD&amp;amp;amp;#216;基于Fisher线性判别的面部表情识别流程&amp;amp;amp;#216;实验结果Fisher线性判别Fisher线性判别(FishersLinearDiscriminant:FLD)是基于样本的类别进行整体特征提取的有效方法FLD则在PCA基础上的改进，目标在于，试图建立一个更小的维数的、只包含最基本元素的空间，它试图最大化类间分布而最小化类内分布换句话说对于人脸面部表情识别FLD移动同一类
18、的人脸图像更近而不同类的人脸图像移的越远。设训练样本集共有N个训练样本分为c类每一类的均值为：总均值为：第i类样本的离散度矩阵为:总类内离散度矩阵：类间离散度矩阵:离散度矩阵：求下列两两正交的矩阵：是SB与SW的广义特征值相对应的广义特征向量，即：由于最多只有c-1个非零广义特征值，因此m的最大值为c-1Fisher线性判别的改进：TPCA+FLDT：指的是离散度矩阵的替换。利用矩阵分块技术令在矩阵是对称矩阵的条件下分别用和来代替和后并不影响Fisher准则函数的取值，然而和均为分块对角矩阵这样替换后计算量将大幅度下降。PCA+FLD策略，将训练样本的人脸图像向量投影到一个较低维的空间以至于类
19、内分布矩阵为非奇异的。可以通过PCA将特征空间降为N-c维然后通过标准的FLD将维数降为c-1。通过PCA将人脸图像投影到N-c维特征空间：通过标准的FLD将维数降为c-1：基于Fisher线性判别的面部表情识别流程?1.人脸图像预处理。主要包括几何归一化和灰度归一化。?2.读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集，假定图像的大小是wh?（w和h分别维图像的宽度和高度），用于训练的人脸个数是，n1测试的图像个数是n2，令m=wh，则训练集是一个mn1的矩阵，测试集是mn2的矩阵。第i幅人脸可以表示为&amp;amp;lt;/p&amp;amp;gt;&amp;lt;/p&amp;gt;&lt;/p&gt;</p></p>
