《表情识别ppt课件》由会员分享，可在线阅读，更多相关《表情识别ppt课件（48页珍藏版）》请在金锄头文库上搜索。
1、CS, USTC,面部表情识别若干关键问题研究作 者：薛 佳导 师：王煦法 教授王上飞 副教授中国科学技术大学 计算机系,CS, USTC,绪论 面部动作单元识别 面部表情识别 总结,研究现状,Darwin，1872年 人与动物的表情面部表情在人类与动物中存在的普遍性和连续性。 1971年，Ekman和Friesen提出了6种基本情感 1978年，Suwa等人提出了在图像序列中进行面部表情自动分析。 从20世纪90年代开始，由Mase和Pentland提出的光流法进行面部表情识别之后 ，自动面部表情识别进入了新的时期。,Six Universal Facial Expressions of E
2、motions,Happiness Sadness Surprise Fear Anger Disgust,Recognise emotions,Facial Expression Recognition,Neutral,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Ex
3、pression Recognition,Facial Expression Recognition,Facial Expression Recognition,Facial Expression Recognition,研究现状,国际上 美国、日本、英国、德国、荷兰、法国、印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究所的贡献尤为突出 。国内 清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学,绪论,Action Units,Cohn-Kanade AU-Code
4、d Facial Expression Database,ANNA,FACS定义的面部AU编码及其含义,绪论,面部动作单元识别方法,纯手工方法：效率低。 自动识别方法：特征抽取需要一些受控制的成像环境，限制了实际应用。 本文方法：克服了两种方法的缺点。,绪论,面部表情识别方法,面部表情识别方法： 基于模板的方法 基于神经网络的方法 基于规则的方法 本文从人类大脑结构角度，将人类理解面部表情的一些生理机能也加入到实验中，希望能够从心理角度和生理角度来处理计算机的面部识别问题。,绪论,使用交互式遗传算法IGA进行面部动作单元识别,二、面部动作单元识别,面部动作单元识别,用户给出,Inexperie
5、nced subjects Detect AU from facial imagesRecognize facial behavior,open mouse, frown, stareGrasp the similarities and differences between two images To use humans ability comparing with GA to realize AU detection,Method I,Basic Idea,Method II,Case-Based AU Recognition Using IGA,Fig. 3 Framework of
6、the proposed AU recognition,Interface of the system,Experiment Interface,Experiment conditions,Subjects: 3 male 2 female, 22-29Database: final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes Case base: 465 images / 481 imagesTest: 16 images/ 10 image
7、sGA :,比较实验特征脸算法实验,面部动作单元识别,比较实验总结,面部动作单元识别,面部表情识别,三、面部表情识别,Taylor等人提出的情感识别结构图,Taylor等人提出的有意识模块的神经网络进行情感识别的简单模型,BASIC BRAIN EMOTION CIRCUIT,Valence in amygdala & OBFC Attention in parietal & PFC Interaction in ACG,Taylor的有意识模块的神经网络进行情感识别的模型 输出为 隐层节点中间反馈回路节点,面部表情识别,标准函数实验 真实函数图与实验结果图：红色曲线大致与绿色曲线相符。说明该
8、网络适用于非线性数据的训练。,面部表情识别,表情识别实验 这里使用Cohn_Kanade的面部图像数据库作为训练样本和测试样本。,面部表情识别,表情识别实验结果与分析 下图为训练图片在当前权值状态下的识别率,面部表情识别,91.80%,75.47%,82.89%,82.76%,76.92%,85.96%,高兴,厌恶,恐惧,惊讶,愤怒,悲伤,比较实验,实验结果,面部表情识别,CS, USTC,对面部动作单元的识别方法进行研究。提出使用IGA进行AU识别，避开传统识别方法所遇到干扰条件的影响； 提出两种改进识别算法：使用结合SVM的IGA和基于绝对尺度预测的IGA算法，减轻用户疲劳度。,四、总结,
9、CS, USTC,对面部表情识别方法进行研究。 使用Taylor等人提出的基于意识模块的神经网络结构进行面部表情识别。基于该结构的表情识别算法更具有人脑的结构特征，这样就可以从一定程度上更能够体现人脑识别情感的机制。,CS, USTC,有待解决的一些问题：1、本文AU识别方法的推广：任何AU和AU组合的识别；动态的图像序列的AU识别。2、交互和动态的增加样本集。3、对于情感有关的其他脑部成分进行有益的探索，更好地实现基于大脑模型的情感识别机制。,1.2 遗传算法简介遗传算法是模拟生物在自然环境下的遗传和进化过程而形成的一种自适应全局优化概率搜索方法。它最早由美国密西根大学的H.Holland教
10、授提出，起源于60年代对自然和人工自适应系统的研究；1967年，Bagley发表了关于遗传算法应用的论文，在其论文中首次使用“遗传算法（ Genetic Algorithm）”一词。70年代 De Jong基于遗传算法的思想在计算机上进行了大量的纯数值函数优化计算实验。在一系列研究工作的基础上，80年代由Goldberg进行归纳总结，形成了遗传算法的基本框架。,1.2.2 遗传策法的运算过程选择(复制)：根据各个个体的适应度，按照一定的规则或方法，从第t代群体P(t)中选择出一些优良的个体遗传到下一代群体P(t+1)中； 交叉：将群体P(t)内的各个个体随机搭配成对，对每一对个体，以某个概率(
11、称为交叉概率）交换它们之间的部分染色体； 变异：对群体P(t)中的每一个个体，以某一概率(称为变异概率)改变某一个或某一些基因座上的基因值为其他基因值。,1.2.3 遗传算法的手工模拟计算示例例：求下述二元函数的最大值：max f(x1,x2)=x12+x22s.t. x1 1,2,3,4,5,6,7x2 1,2,3,4,5,6,7(1) 个体编码遗传算法的运算对象是表示个体的符号串，所以必须把变量 x1, x2 编码为一种符号串。本题中，用无符号二进制整数来表示。因 x1, x2 为 0 7之间的整数，所以分别用3位无符号二进制整数来表示，将它们连接在一起所组成的6位无符号二进制数就形成了个
12、体的基因型，表示一个可行解。例如，基因型 X101110 所对应的表现型是：x 5，6 。个体的表现型x和基因型X之间可通过编码和解码程序相互转换。,本例中，我们采用与适应度成正比的概率来确定各个个体复制到下一代群体中的数量。其具体操作过程是： 先计算出群体中所有个体的适应度的总和 fi ( i=1.2,M ); 其次计算出每个个体的相对适应度的大小 fi / fi ，它即为每个个体被遗传到下一代群体中的概率， 每个概率值组成一个区域，全部概率值之和为1； 最后再产生一个0到1之间的随机数，依据该随机数出现在上述哪一个概率区域内来确定各个个体被选中的次数。,(5) 交叉运算交叉运算是遗传算法中
13、产生新个体的主要操作过程，它以某一概率相互交换某两个个体之间的部分染色体。本例采用单点交叉的方法，其具体操作过程是： 先对群体进行随机配对； 其次随机设置交叉点位置； 最后再相互交换配对染色体之间的部分基因。,可以看出，其中新产生的个体“111101”、“111011”的适应度较原来两个个体的适应度都要高。,(6) 变异运算变异运算是对个体的某一个或某一些基因座上的基因值按某一较小的概率进行改变，它也是产生新个体的一种操作方法。本例中，我们采用基本位变异的方法来进行变异运算，其具体操作过程是： 首先确定出各个个体的基因变异位置，下表所示为随机产生的变异点位置，其中的数字表示变异点设置在该基因座处； 然后依照某一概率将变异点的原有基因值取反。,对群体P(t)进行一轮选择、交叉、变异运算之后可得到新一代的群体p(t+1)。,从上表中可以看出，群体经过一代进化之后，其适应度的最大值、平均值都得到了明显的改进。事实上，这里已经找到了最佳个体“111111”。,注意 需要说明的是，表中有些栏的数据是随机产生的。这里为了更好地说明问题，我们特意选择了一些较好的数值以便能够得到较好的结果，而在实际运算过程中有可能需要一定的循环次数才能达到这个最优结果。,
