《面部表情识别#（五月二十六）.ppt》由会员分享，可在线阅读，更多相关《面部表情识别#（五月二十六）.ppt（68页珍藏版）》请在金锄头文库上搜索。
1、基于信息融合的面部表情分析与识别 研究生 刘松指导老师 应自炉学科专业 信号与信息处理 论文选题来源 广东自然科学基金项目 032356 研究现状 国际上对人脸面部表情识别的研究现在逐渐成为科研热点 国内外很多机构都在进行这方面的研究 尤其美国 日本 进入90年代 对人脸表情识别的研究变得非常活跃 吸引了大量的研究人员和基金支持 EI可检索到的相关文献就多达数千篇 美国 日本 英国 德国 荷兰 法国等经济发达国家和发展中国家如印度 新加坡都有专门的研究组进行这方面的研究 其中MIT CMU Maryland大学 Standford大学 日本城蹊大学 东京大学 ATR研究所的贡献尤为突出 国内国
2、内的清华大学 哈尔滨工业大学 中科院 中国科技大学 南京理工大学 北方交通大学等都有人员从事人脸表情识别的研究 目前面部表情识别的主要方法 基于模板匹配的面部表情识别方法基于神经网络的面部表情识别方法基于规则的人脸面部表情识别方法基于随机序列模型的面部表情识别方法其他方法 比如支持向量机 小波分析等 论文主要工作 介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起 提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上 提出基于RBF网络的多特征融合的面部表情识别 面部表情识别
3、一般可描述为给定一个静止人脸图像或者动态的人脸图像序列 利用已有的人脸表情数据库确定图像中的一个人或者多个人的面部表情 研究内容包括以下三方面 人脸检测 即从各种不同的场景中检测出人脸的存在并确定其位置 面部表情特征提取 即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式 通常的表示方式包括几何特征 代数特征 固定特征模板 云纹图 3D网格等 面部表情识别 就是将待识别的人脸面部表情和数据库中的已知人脸面部表情比较 得出相关信息 这一过程是选择适当的人脸面部表情表示方式与匹配策略 论文主要工作 介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别
4、将支持向量机理论和信息融合理论结合在一起 提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上 提出基于RBF网络的多特征融合的面部表情识别 信息融合与面部表情分析 信息融合就是把来自多个信息源的目标信息合并归纳为一个具有同意表示形式输出的推理过程 其基本的出发点是通过对这些信息源所提供的信息的合理支配和使用 利用多个信源在时间或空间上的冗余性和互补性对这些信息进行综合处理 以获得对被测对象具有一致性的解释和描述 使得该信息系统获得比它得各个组成部分更优越的性能 人脸面部表情识别包含大量的变量 反映待识别目标各要素的非度量形式允许许多类型的表示技术
5、每一种技术又可以采用不同的方法进行计算 基于信息融合面部表情识别的三个模型 基于像素层融合的面部表情识别基于特征层融合的面部表情识别基于决策层融合的面部表情识别 基于像素层融合的面部表情识别 这种方法对每幅图像预处理之前进行像素层融合后 得到一个融合的人脸图像数据 并在此基础上再进行特征提取和面部表情识别 基于特征层融合的面部表情识别 这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量 然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定 基于决策层融合的面部表情识别 这种方法对每个传感器都执行面部表情特征提取和面部表情识别 然后对多个识别结果进行信息融合从而
6、得出一个面部表情判决结果 再融合来自每个传感器的面部表情判决 论文主要工作 介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起 提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上 提出基于RBF网络的多特征融合的面部表情识别 基于单特征单分类器的面部表情识别 基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别 基于神经网络级联的面部表情识别 网络级联的面部表情识别结构BP网络的算法流程网络级联的面部表情
7、识别的实验结果 网络级联的面部表情识别结构 网络级联的面部表情识别流程 网络级联的面部表情识别的实验结果 在两个数据库上进行实验 从耶鲁大学的YaleFace数据库中选取60幅人脸图像 共15个人 4幅 人 其中训练样本56幅 14个人 4幅 人 测试样本为剩下的4幅图像 1个人 4 人 通过随机变换训练样本和测试样本 我们重复15次这样的实验 从日本女性表情数据库中 JAFFE 选取120幅图像 共10个人 12幅 人 其中84幅图像作为训练样本 7个人 12幅 人 测试样本为36幅图像 3个人 12幅 人 通过随机变换训练样本和测试样本 我们重复10次这样的实验 日本女性表情数据库上的实验
8、 SOFM权值向量图BP网络性能图 YaleFace数据库上的实验 SOFM权值向量图BP网络性能图 基于单特征单分类器的面部表情识别 基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别 基于几何特征的面包表情识别 面部特征点几何特征向量的形成识别流程实验结果 面部特征点 几何特征的形成 基于几何特征的面部表情识别流程 1 在人脸图像上标记24个面部特征点 2 按照上表得到12个测量距离 对测量距离按上面的公式进行归一化处理得到12维局部特征3 读入人脸库 读入每一个人脸图像几何特征数据并转化为一维的向量 对于一个表情的
9、人脸图像 选择一定数量的图像构成训练集 其余的构成测试集 4 把所有测试图像和训练图像进行比较 确定待识别的样本的所属类别 本文采用最近距离分类器进行识别 两个数据库上的实验结果 YaleFace数据库日本女性表情数据库 基于单特征单分类器的面部表情识别 基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别 基于均值主元分析的面部表情识别 主元分析主元分析的改进 均值主元分析面部表情识别流程实验结果 主元分析 考虑维图像空间的个人脸图像 每个样本属于类中的一类 考虑将维特征空间投影到维特征空间的线性变换 用表示列向量正交的
10、矩阵 变换后的新的向量 由下式线性变换定义 总离散度矩阵 其中是所有样本的平均值 经过线性变换得到的新的特征向量的离散度是 PCA选择最优的投影变换 是按照降序排列的前个特征值对应的特征向量 这种变换变化就称为主元分析 由所组成的空间就是面部表情特征空间 主元分析的改进 均值主元分析 传统的主元分析的产生矩阵是协方差矩阵 也叫总体离散布矩阵 总体离散布矩阵是有两部分组成 类间离散布矩阵和类内离散布矩阵 而改进算法只考虑类间离散度矩阵 设训练样本集共有N个训练样本 分为c类 为第i样本的数目 其中是表示第个人脸图像的列向量 每一类的均值为 总均值为 类间离散度矩阵 相对于传统的主元分析 其基本区
11、别是以每一类的平均值代替类内的具体图像 我们称为MPCA 由于每一类平均值是类内图像的一个线性叠加 因此每一类的平均值必然保留了相当的各具体图像的变化特征 换句话说 对各图像的变化特征进行了一定程度的压缩处理 而且保留的特征更有利于表情模式的识别 关于这一点我们将在后面的实验中加以说明 用每一类的平均值代替类内的具体图像的另一个明显的好处就是训练时间明显降低 面部表情识别流程 1 人脸图像预处理 主要包括几何归一化和灰度归一化 2 读入人脸库 读入每一个二维的人脸图像数据并转化为一维的向量 对于一个表情的人脸图像 选择一定数量的图像构成训练集 其余的构成测试集 假定图像的大小是w h w和h分
12、别维图像的宽度和高度 用于训练的人脸个数是n1 测试的图像个数是n2 令m w h 则训练集m n1是一个的矩阵 测试集是m n2的矩阵 第幅人脸可以表示为 3 计算每一类的均值 总均值和类间离散度矩阵 4 取类间离散度矩阵为KL变换生成矩阵 进行KL变换 5 计算生成矩阵的特征值和特征向量 构造特征子空间 首先把特征值从大到小进行排序 同时 其对应的特征向量的顺序也作相应的调整 然后选取其中一部分构造特征子空间 特征向量具体选取多少 本文采取实验的方法进行确定 6 把训练图像和测试图像投影到上一步骤构造的特征子空间中 每一幅人脸图像投影到特征子空间以后 就对应于子空间中的一个点 同样 子空间
13、中的任一点也对应于一幅图像 7 把投影到子空间中的所有测试图像和训练图像进行比较 确定待识别的样本的所属类别 本文采用最近邻距离分类器进行识别 实验结果 YaleFace数据库MPCA和PCA比较日本女性表情数据库 基于单特征单分类器的面部表情识别 基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别 基于Fisher线性判别的面部表情识别 Fisher线性判别Fisher线性判别的改进 T PCA FLD基于Fisher线性判别的面部表情识别流程实验结果 Fisher线性判别 Fisher线性判别 Fisher sLin
14、earDiscriminant FLD 是基于样本的类别进行整体特征提取的有效方法 FLD则在PCA基础上的改进 目标在于 试图建立一个更小的维数的 只包含最基本元素的空间 它试图最大化类间分布 而最小化类内分布 换句话说 对于人脸面部表情识别FLD移动同一类的人脸图像更近 而不同类的人脸图像移的越远 设训练样本集共有N个训练样本 分为c类 每一类的均值为 总均值为 第i类样本的离散度矩阵为 总类内离散度矩阵 类间离散度矩阵 离散度矩阵 求下列两两正交的矩阵 是SB与SW的广义特征值相对应的广义特征向量 即 由于最多只有c 1个非零广义特征值 因此m的最大值为c 1 Fisher线性判别的改进
15、 T PCA FLD T 指的是离散度矩阵的替换 利用矩阵分块技术 令在矩阵是对称矩阵的条件下 分别用和来代替和后并不影响Fisher准则函数的取值 然而和均为分块对角矩阵 这样替换后 计算量将大幅度下降 PCA FLD策略 将训练样本的人脸图像向量投影到一个较低维的空间以至于类内分布矩阵为非奇异的 可以通过PCA将特征空间降为N c维 然后通过标准的FLD将维数降为c 1 通过PCA将人脸图像投影到N c维特征空间 通过标准的FLD将维数降为c 1 基于Fisher线性判别的面部表情识别流程 1 人脸图像预处理 主要包括几何归一化和灰度归一化 2 读入人脸库 读入每一个二维的人脸图像数据并转
16、化为一维的向量 对于一个表情的人脸图像 选择一定数量的图像构成训练集 其余的构成测试集 假定图像的大小是w h w和h分别维图像的宽度和高度 用于训练的人脸个数是 n1测试的图像个数是n2 令m w h 则训练集是一个m n1的矩阵 测试集是m n2的矩阵 第i幅人脸可以表示为 3 计算每一类的均值 总均值和类间离散度矩阵 同时求类内离散度矩阵和总离散度矩阵 4 利用矩阵分块技术 得到和的替换矩阵和 5 取类间离散度矩阵为KL变换生成矩阵 进行KL变换 6 计算生成矩阵的特征值和特征向量 构造特征子空间 首先把特征值从大到小进行排序 同时 其对应的特征向量的顺序也作相应的调整 然后选取其中一部分构造特征子空间 在耶鲁大学Yaleface数据库上我们用m N c 52维特征向量构造特征子空间 在JAFFE上我们用m N c 76维特征向量构造特征子空间 其中N为训练样本数目 c为类别数 7 把训练图像和测试图像投影到上一步骤构造的特征子空间中 每一幅人脸图像投影到特征子空间以后 就对应于子空间中的一个点 同样 子空间中的任一点也对应于一幅图像 8 用替换矩阵和替换和进行FLD 得到表征面
