《基于图像的面部表情识别方法综述》由会员分享，可在线阅读，更多相关《基于图像的面部表情识别方法综述（20页珍藏版）》请在金锄头文库上搜索。
1、基于图像的面部表情识别方法综述 徐琳琳 张树美 赵俊莉 青岛大学数据科学与软件工程学院 摘 要： 近年来, 面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题, 对面部表情识别的步骤及其方法进行了综述探讨。首先, 介绍了目前常用的人脸表情数据集, 并回顾了面部表情识别的发展历程;然后, 介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面, 归纳了人脸面部表情识别的四个过程, 重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后, 指出了目前面部表情识别存在的问题和未来可能的发展趋势。关键词： 表
2、情识别; 表情数据集; 表情编码; 特征提取; 表情分类; 作者简介：张树美 (1964) , 女, 山东莱西人, 教授, 博士, 主要研究方向:时滞非线性系统的分析与控制、图像识别与处理;电子邮箱 作者简介：徐琳琳 (1992) , 女, 山东莱芜人, 硕士研究生, 主要研究方向:图像识别与处理、深度学习;作者简介：赵俊莉 (1977) , 山西新绛人, 助理教授, 博士, CCF 会员, 主要研究方向:计算机视觉、计算机图形学、虚拟现实。收稿日期：2017-06-26基金：国家自然科学基金资助项目 (61702293, 41506198) Summary of facial express
3、ion recognition methods based on imageXU Linlin ZHANG Shumei ZHAO Junli School of Data Science and Software Engineering, Qingdao University; Abstract： In recent years, facial expression recognition has received extensive attention in education, medicine, psychoanalysis and business. Aiming at the pr
4、oblems of not systematic enough and fuzzy concept of facial expression recognition method, the steps and methods of facial expression recognition were reviewed and discussed. Firstly, the commonly used facial expression databases were introduced and the development of facial expression recognition w
5、as reviewed. Then, two aspects of facial expression recognition were introduced, such as facial expression coding and facial expression recognition.The four processes of face facial expression recognition were summarized. The classical algorithms, the basic principles of these algorithms and the com
6、parisons of their advantages and disadvantages were summarized emphatically in the two processes of feature extraction and facial expression classification. Finally, the existing problems and possible development trends in the future of the current facial expression recognition were pointed out.Keyw
7、ord： expression recognition; expression database; expression coding; feature extraction; expression classification; Received： 2017-06-260 引言面部表情是指通过脸部肌肉、眼部肌肉和口部肌肉的变化而表现出的各种情绪, 其中, 眼部和口部附近的肌肉群是构成面部表情最丰富的部分。面部表情通过这三部分肌肉的变化传递人的情绪状态, 与声音、语言和人体姿势等一起组成了社会中人的交流系统。人脸部的表情识别是一个横跨人工智能、神经学、计算机科学等领域的交叉学科, 在心理分析、
8、临床医学、车辆监控以及商业领域都有很广泛的应用。例如, 通过人的面部表情推测抑郁症等心理状态1, 根据疼痛测试来检测病人在临床上的进展2-3, 以及 Emotient、Affectiva、Real Eyes 和 Kairos 等公司通过观众的面部表情, 使用情绪识别技术来预测其购买行为等。在 20 世纪 70 年代, 著名的国际心理学家 Ekman4将人脸部表情划分为六类:高兴 (Happy) 、悲伤 (Sad) 、恐惧 (Fear) 、愤怒 (Angry) 、厌恶 (Disgust) 和惊讶 (Surprise) 。该研究将表情用公式化方式传达人的一些生存信息, 例如恐惧是看到令人害怕的事情
9、或者听到不好的消息, 一般会通过紧蹙眉头、微眯眼睛、张开嘴巴来表达。悲伤则表示想要寻求安慰, 最明显的一点是眼角和嘴角下拉。面部表情产生是由情绪的波动导致的, 表达了个人的心理状态、交际意图、个性差异等。后来随着对面部表情研究的深入, 基于运动单元 (Action Unit, AU) 的面部动作编码系统 (Facial Action Coding System, FACS) 被提出, 它通过分析这些运动单元的运动特征及区域来说明与之联系的相关表情。1 表情数据集目前的人脸表情识别都是在表情数据集所提供的图片或视频上进行测试, 例如图 1 所提供的六种基本表情 (选自 JAFFE 表情数据集)
10、图片。下面介绍几种常用的表情数据集。1) JAFFE 数据集。日本女性面部表情数据集 (the JApanese Female Facial Expression, JAFFE) 5是研究亚洲人表情的重要测试库, 它是 1998 年由日本九州大学心理系建立的。该数据集规模较小, 每种表情 34 张, 共有 213 张表情。它主要用于初期的表情识别研究, 目前的表情识别技术在该数据集上获得了很高的识别率。图 1 六种基本表情 Fig.1 Six basic expressions 下载原图2) CK+数据集。Cohn-Kanade 扩展数据集 (the extended Cohn-Kanade,
11、 CK+) 6是目前比较通用的人脸表情数据集, 适合于人脸表情识别的研究。它是 2010 年在 Cohn-Kanda 数据集的基础上扩展得来的, 包含 123 名参与者、593 个图片序列。CK+与 CK 数据集的区别为 CK 数据集只有静态图片, CK+数据集中还包括动态视频, 两者都含有情绪标签, 指出了参与者的表情。3) MMI 数据集。MMI 面部表情数据集 (MMI-facial expression database, MMI) 7是一个由视频诱发生成的数据集。它包含两个部分, 自发表情和诱发表情, 共有 2 900多个视频, 数据集中含有表情的 AU 标签。4) BHU 数据集。
12、北京航空航天大学数据集 (Bei Hang University, BHU) 8是北京航空航天大学毛峡教授在 2007 年发表的。该表情数据集是在实验室中受日光灯和自然光的照射下拍摄的, 包含正面照和侧面照, 侧面照是正面照旋转 30得到的。数据集共有 800 个动态视频, 具有在其他人脸数据集中曾未出现的情感表情, 对世界人脸表情数据集进行了有益的补充。5) USTC-NVIE 数据集。自然可见和红外面部表情数据集 (Natural Visible and Infrared facial Expression, USTC-NVIE) 9是目前世界较为全面的人脸数据集, 它是 2010 年由中
13、国科技大学安徽省计算与通信软件重点实验室建立的。数据集含有自发和诱发的 6 种基本表情, 都为静态照片。6) AFEW 数据集。野外动态面部表情数据集 (Acted Facial Expressions in the Wild, AFEW) 10数据集为视频情感识别大赛 (Emotion recognition in the Wild challenge, Emoti W) 系列感情识别挑战赛使用的数据集, 该比赛自 2013 年开始每年举办一次。AFEW 数据集的内容是从电影中获取的表情, 所以在人脸的检测和特征提取方面有一定的困难。7) SFEW 数据集。野外静态面部表情数据集 (Stat
14、ic Facial Expressions in the Wild, SFEW) 11是从 AFEW 数据集中截取的含有表情的静态帧。表 1 根据表情数据集的属性, 从内容、获取方式和参与者三个主要方面对以上介绍的数据集进行了总结。表 1 表情数据集及其简介 Tab.1 Expression databases and their brief introduction 下载原表 2 表情识别的发展关于自动面部表情识别的最早的研究是在 20 世纪 70 年代, 通过跟踪 20 个点的移动对其外表作了一个预先实验。但由于面部检测和面部配准算法较差以及计算能力有限, 该研究在接下来的十年中几乎没有受
15、到关注。Mase 等12使用光流法实现自动提取特征的研究以及对面部表情的理解的研究标志着这个研究主题在 20 世纪 90 年代初开始复兴。在 2001 年, Tian 等13将 AU 用于面部识别分析的研究标志着现代自动面部表情识别的开始。这些早期的研究大多使用几何表示描述面部运动的矢量14, 以及嘴和眉毛形状的动态轮廓15或可变形的二维网格模型16等。也有些学者关注于外观表示, 像 Gabor 滤波器17、光流法和局部二值模式 (Local Binary Pattern, LBP) 18或两者之间的组合14。BU-3DFE 数据集19的发布推动了 RGB 面部表情识别进入 3D 的识别研究。
16、3D 面部识别方法中有一些方法需要在训练和测试期间手动标记基准顶点20, 也有一些方法是完全自动地标记21。近些年来, 除了提高对面部表情和动作单元识别的扩展研究外, 还有对处于更复杂环境中表情识别的研究。自发面部表情检测、复杂精神状态分析、疲劳检测、挫折、疼痛、抑郁症的严重程度和心理压力分析, 以及智能虚拟代理中的自动面部表情识别能力等的研究, 在自动面部表情识别研究中开辟了新的领域。自动面部表情识别 (Automatic Facial Expression Recognition, AFER) 的研究始于 20 世纪 70 年代末, 但是十多年来进展缓慢, 主要是由于面部检测和面部配准算法的限制以及缺乏足够的计算能力。从提出人为表情的 RGB 静态表示, 进展到动态表示, 后来发展到自然表情的表示, 在这期间为了应对由大的姿势变化、照明条件的多样性和微妙的面部行为检测提出的挑战, 很多学者提出了新的替代方
