《基于深度学习的人脸表情识别系统》由会员分享，可在线阅读，更多相关《基于深度学习的人脸表情识别系统（36页珍藏版）》请在金锄头文库上搜索。
1、北京理工大学珠海学院2016届本科生毕业设计基于深度学习的人脸表情识别系统基于深度学习的人脸表情识别系统摘 要随着社会的进步和经济的发展，人工智能已经开始应用于各种各样的场景，最典型的应用就是机器人的应用。人机交互的设计已经越来越成熟，而机器人要想了解人的正确想法就不应仅体现在语言上，还应该在其他方面分析出人的正确情感，表情识别分析就是一个主要攻克点。本文从自然神经网络的介绍一直到运用卷积神经网络搭建模型进行具体的分析，包括自然神经网络和卷积神经网络的知识归纳，包括一些数学推导过程，对模型搭建过程和结果分析，会将所用的知识点进行详细归纳让人更好地理解和实现实际的模型搭建。本文的模型搭建最终使用
2、2012年ILSVRC的冠军AlexNet实现，且会对模型进行分析。结尾也会适当提出运用VGG网络、ResNet、GoogLeNet等具有较多层神经网络的方法对模型的改进。关键词：表情识别、卷积神经网络、知识归纳、数学推导、AlexNet Facial expression recognition system based on deep learningAbstractWith the progress of society and the development of economy, artificial intelligence has been applied in a variet
3、y of scenarios, the most typical application is the application of robots. The design of human-computer interaction has become more and more mature. In order to understand the correct thoughts of people, robots should not only be reflected in language, but also analyze the correct emotions of people
4、 in other aspects. Facial expression recognition analysis is a major breakthrough point. This article from the nature of the neural network is introduced to use convolution neural network to build model for concrete analysis, including natural neural network and the convolution of the neural network
5、 knowledge, including some mathematical derivation, analysis on the structures, processes and results of the model, will be used in the knowledge points in detail summarized make people better understand and realize the actual model is set up. The model building in this paper is finally implemented
6、by AlexNet, the champion of ILSVRC in 2012, and the model will be analyzed. At the end of the paper, it will also put forward the improvement of the model by using VGG network, ResNet, GoogLeNet and other methods with more layers of neural networks.Keywords: Facial expression recognition ; convoluti
7、onal neural network; Knowledge of induction ; Mathematical deduction ; AlexNet ; 目 录1 绪论 1.1 人脸表情识别的目的和现实意义11.2 人脸表情识别技术国内外现状11.3 环境的搭建21.3.1 Python21.3.2 Anaconda331.3.3 jupyter notebook32深度学习的基本原理 2.1引言32.2自然神经网络的基本原理32.3卷积神经网络的基本原理52.3.1引言52.3.2 CPU与GPU52.3.3激活函数与学习率52.3.4学习率62.3.5感受野和卷积核62.3.6卷积
8、层和池化层72.3.7填充82.3.8全连接层82.3.9特征归一化92.3.10损失函数与优化器92.3.11 dropout（正则化）102.3.12 BatchNormalization102.3.13混淆矩阵和ROC曲线112.3.14 epochs与batch_size112.3.15 training loss与validation loss的关系113基于卷积神经网络的人脸表情识别 3.1引言113.2数据的预处理123.3图片的转换133.4搭建模型153.5直接用.csv文件中的数据进行模型搭建与训练153.6最终模型展示173.7结果分析193.8改进过程分析204关于VG
9、G网络、ResNet、GoogLeNet的图像处理 4.1引言214.2 VGG网络214.3 ResNet214.4 GoogLeNet215总结 参考文献 23致谢 24附录 251 绪论人工智能是近几年的热点，python的简易学习和GPU的发展，极大的促进了机器学习和深度学习的发展，为了解决各种问题演化出了各种神经网络如：自然神经网络、卷积神经网络等。随着人们不断地去学习和优化，各种各样的模型被人们搭建出来，也出现了各种算法。本文将从基础的自然神经网络开始，一直到用卷积神经网络进行图像处理，会详细的分析和总结所有知识点，供大家学习参考。1.1人脸表情识别的目的和现实意义随着科技的不断进
10、步，人们对机器人以及其他人工智能的研究已经越来越成熟，人机的交互一直是机器人研究的一个热门，怎么样才能使机器人更好的理解和读懂人们的意思并进行正确的行为是一个重要的课题。那怎么样才能让机器人准确的分析出人此时此刻的心理状态呢？一提到这个问题，人们的主要思路肯定是对机器人本身的词库进行拓展，并且设成堆的关键词，让机器人准确的抓取人们语言中所要表达的情感。但是曾经有个著名的心理学家提出，人类在生活交流就是一种信息的传递，而用语言进行信息传递的方式只占总体的7%，肢体语言及其他方式占总体的百分之38%，通过人脸表情进行信息传达的方式高达55%。在生活中，可以从一个人的表情分析出一个人此时此刻的心理状
11、态，哲学家将人的表情分为七大类，分别是开心、悲伤、恐惧、愤怒、厌恶、惊讶、中性七种。这说明如果能用一个模型进行人脸表情的识别和分析就能对人们此时此刻的心情状态进行准确的分析，这对机器人分析出人的情感的帮助远远大于对关键词的分析，对于机器人的发展以及实际应用是一个巨大的飞跃。1.2人脸表情识别技术国内外现状早在19世纪，达尔文就发表过一篇文章论人类和动物的表情，表面了表情的一致性，说明表情是不按性别与种族来判断的。Facial Expression Recognition (简称FER)在国外已经较为成熟，因为在几年前就举办了关于表情识别的比赛，比如2013年的FER2013，Emotiw等。因
12、为各种神经网络都是国外的大牛提出，所以国内在表情识别领域一直处于追赶的一方。但借助互联网平台可以方便与国外的深度学习进行交流和探讨，国内的深度学习算法也发展得很快，总体上也不算太过于落后。人脸表情识别技术主要分为两部分，一部分是在图片中将表情特征进行提取，然后进行模型的搭建与训练，另一部分就是人脸的检测。人脸的检测分为动态检测和静态检测，静态检测要对图片进行处理对人脸进行扫描和识别，运用各种算法进行特征提取；动态监测要通过特定的摄像头进行动态人脸的识别扫描和处理后传送给模型，其中涉及到3D模型的算法，传给模型的过程中也需要进行类似静态检测的过程对人脸进行扫描和识别。人脸识别是深度学习和机器视觉
13、的一个交互学科和热点，本文不作着重解释。对于表情特征提取现国内外具有很多热门的算法，主要有几何特征提取、运动特征的提取、统计特征提取和频率域特征提取。几何提取就是对人脸表情的各个特征进行提取和分析，如眼睛、嘴巴等，这是最原始的做法也最好理解和实现，本文也是运用CNN网络对人脸表情进行提取后识别表情。对于其他特征提取这里也介绍几个现阶段国内外热门的人脸表情识别方法：1. Gabor变换：通过不同的卷积核频率对图像进行多频率的分析，可以有效的提取不同空间位置中不同细节程度的特征，经常与支持向量机一起使用。在空间域中有较好的分辨能力且有明显的方向选择性。但如果是低维度的特征会出现识别和匹配困难的问题
14、，样本少时准确率也会大大降低；2. 支持向量机：是一种人类识别的分类器，常与Gabor滤波器一起使用，但是当样本过大时计算量会很大，学习的过程会很复杂；3. 光流法：将运动图像用函数表示，根据图像强度守恒原理建立光流约束方程，通过求解方程计算运动参数。可以反映人脸表情变化的实际规律，并且受外界的影响较小，尤其是光照的变化对识别率不会产生太大的变化。但是因为计算量大和识别模型、算法较复杂，在小样本模型中适用性小；4. 隐马尔模型：由观察的面部表情序列模型计算面部表情序列的概率，选用最佳准则来决定状态的转移，得到相应的模型参数。采用隐马尔模型的识别准确率较高，但是对前期的面部表情序列模型要求较高，对表情识别算法的准确率也有较大的影响。1.3环境的搭建要想项目顺利进行，环境的搭建是必不可少的一步。首先需要明确想要的工作环境，我是在window系统下进行项目的进行。（对以后想从事
