基于全局图像与神经网络方法的人脸表情识别

《基于全局图像与神经网络方法的人脸表情识别》由会员分享，可在线阅读，更多相关《基于全局图像与神经网络方法的人脸表情识别（6页珍藏版）》请在金锄头文库上搜索。

1、http:/ - 1 -基于全局图像与神经网络方法的人脸表情识别基于全局图像与神经网络方法的人脸表情识别 周兆捷 吴乐南 东南大学 无线电工程系, 江苏 南京 210096 E-mail: 摘摘 要：要： 本文提出了对人脸表情的全局图像采用基于自组织稀疏 RAM 的 n-tuple 神经网络模型进行识别， 结合了人脸表情图像的 Gabor 滤波特征， 通过实验表明能够取得了较好的分类效果。 关键词：关键词：人脸表情识别；自组织映射；N-tuple 分类器；稀疏分布存储器； 1. 引引 言言 人脸表情是一个人的情感状态、内心活动、意图、个性的外在表现，传达的是一种非口头语言的信息， 可以帮助交

2、谈双方理解隐藏在话语下面的潜在意图， 在人类个体交往过程中发挥了重要的作用。 早期关于人脸表情的研究主要是从心理学和医学角度入手的， 近来随着人工智能研究的不断反展，一种新的研究方向人工心理理论的研究得到了充分的重视，它是利用信息科学的方法， 对人的心理活动实现智能机器的模拟实现， 因此人脸表情识别也是人工心理理论研究的重要组成部分， 因为对人脸表情的研究可以进一步了解人类对应的心理状态。 如果能够让机器很好地理解人脸表情的变化及其对应的心理活动， 将极大地改变人-机之间的关系，使得机器能够更好地为人类服务。人脸表情识别就是研究如何让机器能够辨识出人脸面部表情变化的一项工作。 从模式类别角度而

3、言，人脸所表征的表情类别不像人脸所对应的个体身份那样清晰明确， 因为人脸表情的变化是通过脸部肌肉牵引产生的连续变化， 所以表情类别的边界是不明晰的， 如何先从语义上准确地将表情分类是进行人脸表情研究的重要前提。 Ekman 和 Friesen提出了一种人脸表情运动编码系统（FACS）1，根据 44 个能够独立运动的表情活动单元（AU）描述脸部动作，并定义了 6 种最基本的表情：高兴、悲伤、惊奇、愤怒、厌恶、恐惧，说明了具有这 6 种表情的人脸特征与无表情（neural）的人脸特征相比具有独特的肌肉运动规律。 人脸表情识别的方法大致可以分为四类：基于几何特征的方法、基于图像的方法、基于模型的方法

4、以及基于运动提取的识别方法2。基于几何特征的方法在研究的早期使用较多，具有提取的表情特征维数较低、 易于处理的优点， 但特征点难以准确自动确定的缺点大大地限制了该方法的发展。 基于图像的方法又可分为基于全局图像和基于局部图像两种， 基于全局图像是指对包含一个完整的人脸图像进行特征提取及分类识别的方法， 而基于局部图像是指有选择的对人脸图像的几个局部图像进行特征提取及分类识别的方法， 比如眼睛、 嘴巴等区域。 基于模型的方法是建立在对众多不同表情的训练人脸图像的建模基础上， 然后根据模型参数进行识别。 基于运动提取的方法是指着眼于人脸表情变化时所带动的相对应脸部图像http:/ - 2 -像素和

5、部件的运动迁移，包括密集光流法、特征点跟踪法、差图法三种。本文着眼于对人脸表情的全局图像采用基于自组织稀疏 RAM 的 n-tuple 神经网络模型3进行分类识别。 2.2. 全局图像的 Gabor 特征提取 全局图像的 Gabor 特征提取 一般用于图像特征提取的 Gabor 小波是一种圆高斯包络函数4，其式表示如下： () =2 2222222exp,eerkkrkrk irrrrrrr（1） 其中，参数()sin,coskk =r 是平面波波矢量，其模值2=kr 控制了高斯包络的宽度；参数是与小波频率带宽有关的常数，当带宽octave1=时，；octave5 . 1=时，5 . 2；oc

6、tave2=时，96. 1；项22e消除了直流分量（如均匀光照）的影响。 一幅人脸表情图像的 Gabor 小波表示就是该图像和一族 Gabor 小波卷积所得到的结果。假设()yxI,表示一幅图像的灰度分布，则其 Gabor 小波表示为： ()()()yxyxIyxOjiji,*,= （2） 其中，()yxOji,就是相应于尺度i方向j的 Gabor 小波卷积结果。 为了包含不同的空间频率（尺度）和方向的 Gabor 小波变换特征，我们可以将一幅人脸表情图像的 Gabor 小波表示写成一个级联的特征矢量。 由于一般图像的维数都比较高， 直接将所有尺度、 方向的 Gabor 小波变换特征级联会导致

7、维数太大而难于处理， 因此有必要对图像的各个 Gabor 小波表示进行下采样处理，假设下采样因子为，则一幅图像的级联的特征矢量为： ( )( )( )()TTTTOOO5 , 51 , 10, 1,K= （3） 3.3. 基于自组织稀疏 RAM 的 n-tuple 神经网络模型 基于自组织稀疏 RAM 的 n-tuple 神经网络模型 自组织稀疏 RAM 的 n-tuple 神经网络模型（SSn-tuple）是 N-tuple 分类器5、SDM6 (sparse distribute memory)神经网络与自组织映射（SOM）神经网络7有机结合而成的。该网络模型可以直接处理高维实数数据， 具

8、有结构简单、 运算速度快及较好的泛化逼近能力的特点， SSn-tuple 神经网络模型的学习训练过程就分为两部分： SSDM 的生成与训练模式信息在各存储单元的写操作。SSn-tuple 神经网络模型的结构如图 2 所示。 3.1 SSDM 的生成的生成 SSDM 生成是借助于 SOM 神经网络来得到的。 SOM 神经网络可以认为是一个两层映射网络， 由接收外部信号的输入层与具有拓扑空间结构的输出层构成。 网络中的每个神经元有两个独有的属性值分别为权矢量nT iniiim =,21与拓扑坐标,iiiyxr =。对于一个输入信号nT nx =,21，网络的输入层将其连接到该网络结构中的所有htt

9、p:/ - 3 -图 2 SSn-tuple 神经网络模型结构图 神经元上，计算x与所有im的欧氏距离， 其中最小者即为最匹配神经元（BMU），从而 SOM就完成了将输入空间nR映射（投影） 到 2 维的平面拓扑网格中。 如图 1 所示， 首先需要对每个训练样本进行 n-tuple 采样，并为每一组 n-tuple 分配自己独有的稀疏 RAM。因此假设对训练样本进行了K次 n-tuple 采样，则需要得到K个 SSDM，第k个 SSDM 生成的步骤是：假设生成第k个 SSDM，则首先根据所有训练样本的第k个 n-tuple 组线性初始化 SOM 神经网络中各个神经元的属性值im，再采用批处理学

10、习方法，直到达到预先设定的训练次数，此时 SOM 神经网络中各个神经元的属性值im就作为 SSn-tuple 神经网络模型的的第k个 SSDM 中各存储单元的地址。 3.2 基于误差矫正的学习算法基于误差矫正的学习算法 假设H个输入训练模式对()hhTX,，()Hh, 1K=， 令hX的 n-tuple 采样得到的第k个 n-tuple 组为()KkXh k, 1L=，h IhhTTT,1L； SSDM 存储单元地址矩阵ikA为nL维，()ik LikikAAA,11K=，表示每一 SDM 存储器有L个稀疏存储单元，并且其地址向量长度为n；令每个 n-tuple 组只激活r个 SSDM 存储器

11、单元，则每个 n-tuple 组向量的 SSDM 存储地址的选择为： ()()()= =LlXAlLlXAl XSh kik l rh kik l rh kikl, 1, 0, 1, 1minargminargLL（4） 式中：()LlXAkl r, 1minargL=表示r个与h kX度量距离最小的稀疏存储单元，距离度量可以有“City-Block”、“Euclidean”等； 从而第j个神经网络输出： () =Kkmliklh kikliwXSY11（5） 式中：iklw表示第i个输出神经元所对应的第k个 SSDM 的第l个存储单元值；由此可得输出与目标之间的平方误差为： () =Iiii

12、TYIE121（6） http:/ - 4 -将式（5）代入式（6）中，并对iklw求偏导得： ()h kiklii iklXSTYwE=)(2 （7） 据此得到了 SSDM 的各存储单元值的迭代调整公式： ()()() NumTYXStwtwiih kikliklikl+=+)() 1( （8） 式中：KrNum=，表示输入模式激活的稀疏存储器单元总数，为迭代步长，t为当前迭代次数。 4. 实验方法与结果实验方法与结果 在此我们所使用的人脸表情库是自己建立的， 本人脸表情库包含了 4 种差异较大的表情类别，分别是无表情、惊奇、愤怒、高兴。本人脸表情库包含 16 个人，每人每种表情两幅，因此共

13、计 128 幅人脸表情图像。图 3 示意了其中两个人的各 8 幅图像。 无表情无表情 惊奇惊奇 愤怒愤怒 高兴高兴 无表情无表情 惊奇惊奇 愤怒愤怒 高兴高兴 图图 3 4 种表情的人脸表情库示意种表情的人脸表情库示意 0 607080901001101201301401500.650.70.750.80.850.90.951SSDM存 储单 元 数识别率Image Gabor0 607080901001101201301401500.650.70.750.80.850.90.951SSDM存 储单 元 数识别率Image Gabor（a） （b） 图 4 人脸表情识别性能 （a） （b） 图

14、 4 人脸表情识别性能 http:/ - 5 -图 4 示意了在该人脸表情库所做的表情识别实验，训练集由所有人的各一种表情组成，其余的作为测试集，图 3（a）图的训练集为（b）图的测试集，而（a）图的测试集则为（b）图的训练集。实验比较了 SSn-tuple 神经网络模型分别对原始图像和其 Gabor 滤波特征进行学习识别的性能，以“Image”表示基于原始图像的识别方法，“Gabor”表示基于原始图像的 Gabor 滤波特征的识别方法。 明显可以看出， 基于原始图像的 Gabor 滤波特征的表情识别性能要远优于基于原始图像的方法，也体现了特征提取的重要性。 5. 结论结论 人脸表情识别是一个

15、跨学科的研究领域， 具有较大的挑战性。 人脸表情识别众多方法中，基于全局图像的方法对人脸局部关键特征的检测、 定位没有精确要求， 因此在目前人脸检测技术尚未成熟之际， 具有易实现的优点。 本文即是从提取人脸表情的全局图像特征的思路出发，将人脸表情图像的 Gabor 滤波特征提交给 SSn-tuple 神经网络模型进行分类识别，取得了较好的效果。 参考文献参考文献 1 P. Ekman, W. V. Friesen, Facial action coding system: a technique for the measurement of facial movement, Consulting Psychologists Press, Palo