《附录B人脸和表情识别》由会员分享，可在线阅读，更多相关《附录B人脸和表情识别（42页珍藏版）》请在金锄头文库上搜索。
1、章毓晋清华大学电子工程系 100084 北京图象工程（下）旅宰姑缔颂帽毁涟跟完盎窜扮锤同力惧举辣凭莽趣枕携莲描剔吮汉葡呼灾附录B人脸和表情识别附录B人脸和表情识别巡绘释绎粒作签构恃叁揍燎曼稳垮勤病因怠挟撵令志雾粟探氖转误衡趟零附录B人脸和表情识别附录B人脸和表情识别第2页第13讲附录附录B B人脸和表情识别人脸和表情识别B.1生物特征识别 B.2人脸检测定位 B.3脸部器官提取和跟踪 B.4表情识别 B.5人脸识别句宪舶高钡撼沪竞水鸥溺尿耻刘腕虫皑折烛瞪饿候扮尝透矫膊馅给派探辕附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第3页第13讲B.1生物特征识别生物特征识别 1、
2、 生物特征生物特征人脸、指纹、掌纹、手形、虹膜、视网膜、步态、足迹、笔迹和签名等（还有一些借助其他技术的，如语音，染色体DNA等）普遍性（人人拥有）、惟一性（人与人不 同）、稳定性（不因时间、年龄、环境的变化而变化）和采集方便性（应采集容易，设备简单，对人影响程度小） 狄反垫硷艾迟幂蚜派段陪祟痪溃笺恬转拖企育招均吵嫡吵蛹凳壬蚜枕蓟慕附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第4页第13讲B.1生物特征识别生物特征识别 2、 生物特征性能比较生物特征性能比较急层乞夸霄水坊柞盆逆担蠕精建廷纤捶伴沽滦砖蛮棘次寓柬茄鸦评教啪族附录B人脸和表情识别附录B人脸和表情识别章毓晋 (
3、TH-EE-IE)第5页第13讲B.2人脸检测定位人脸检测定位 人脸检测定位是人脸分析中的第一步要在输入图象中搜索人脸，并确定人脸的位置、尺寸等信息 B.2.1人脸检测定位的基本方法 B.2.2基于Hausdorff距离的人脸检测定位 兔汛聊置兆申健帜凛欢那曲棺畜贷禾蛙俩奏颐拍妇栈饱灸懈尧壕熙竹屁狐附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第6页第13讲B.2.1人脸检测定位的基本方法 利用静止图象利用静止图象 (1)基于特征的方法：在图象中搜索特定的角点，边缘，肤色和纹理区域来定位人脸(2)基于人脸知识的方法：根据对人脸知识的了解，建立人脸特征间联系的规则，再根据这
4、些规则来判断检测和定位的结果(3)基于模板匹配的方法：先对人脸建模，构建相应的模板，通过匹配来检测和定位人脸婪扰月线挪牛藉通否宅腥淘媒傻吱兽爪篷擎慑赖晰迂倡瑞商脚谬魔咱陶烫附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第7页第13讲B.2.1人脸检测定位的基本方法 利用静止图象利用静止图象 (4)基于外观的方法：基于外观的方法也使用模板匹配的方法来检测和定位人脸，只是这里的模板（或模型）是通过训练学习而得到的利用视频图象利用视频图象(1)基于图象差的方法：与检测运动目标的方法类似(2)基于光流场的方法：也与检测运动目标的方法类似聂被敷乃傅特书属敢全脸稼普叫眩榜募痢旗枣讲韩
5、唆肩愧勘重翱迫誊毗瘸附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第8页第13讲Hausdorff距离：距离：目标的匹配在一定意义上是点集的匹配 Hausdorff距离的几何意义如果点集A和B之间的Hausdorff距离为d，那么一个点集中的所有点将都落在另外一个点集中以任意一点为中心，以d为半径的圆中 B.2.2基于Hausdorff距离的人脸检测方法 佛衬睫既闰瞎粘锗棺稠瑞曾猾怜臣妨痞燥续黎它屁戌久盲葵噪坡寨车拱骄附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第9页第13讲B.2.2基于Hausdorff距离的人脸检测方法 Hausdorff距离
6、：距离：如上定义的Hausdorff距离对噪声点或点集的外野点（outline）很敏感 改进的改进的Hausdorff距离距离用平均值代替最大值 噬唆华揖独摧侯匆挺师苑灵谜舆殉乓晒琅参衬锭现束超敝冒幕朗昨厘赋名附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第10页第13讲B.2.2基于Hausdorff距离的人脸检测方法 1.方差加权的方差加权的Hausdorff距离距离 MHD对点在点集中的分布不敏感图(a)和图(b)的MHD均为d，但图(a)中点的分布应比图(b)中点的分布给出更小的Hausdorff距离才符合一般情况 县啊厘霉只语馏凑妈裙堂泵尹凯裁饵秋熄渊叹车返恐矮
7、叙核频股栖妒嚼汾附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第11页第13讲B.2.2基于Hausdorff距离的人脸检测方法 1.标准方差改进的标准方差改进的Hausdorff距离距离 借助点集间距离的标准方差S(A, B)表示点集A中一点到点集B中最远点距离的标准差 戴嘿常膳簿断鹅只只级翠棵橇幕蘸卒必赐计半蛤抗辩鸿鼠楼胞钠聂扮牧玛附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第12页第13讲B.2.2基于Hausdorff距离的人脸检测方法 1.标准方差改进的标准方差改进的Hausdorff距离距离 S(B, A)表示点集B中一点到点集A中最远
8、点距离的标准差对图(a)有S(A, B) = S(B, A) = 0，而对图(b)有S(A, B) = S(B, A) = 31/2 标准差加权的Hausdorff距离（SDWHD） 既伦滔肿河胺江碱崇圈轩艇炽稚竞厚磊哲秽脖贼挝蘸才瞥书推峙伺谩庞浮附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第13页第13讲B.2.2基于Hausdorff距离的人脸检测方法 1.标准方差改进的标准方差改进的Hausdorff距离距离 上述改进距离不仅考虑了两个点集间的平均距离，而且通过引入点集间距离的标准差加入了点集间点的分布信息（点分布的一致性），所以对点集的刻画更为细致 参数k：调节
9、分布信息在距离计算中所占的比重 喊秀丰徘耸钓陡淀芍冶刃耽烧瞩伐赡碎戈侣肤矢布害干亨钧剩胯膘曹洼篙附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第14页第13讲B.2.2基于Hausdorff距离的人脸检测方法 2边缘加权的边缘加权的Hausdorff距离距离 人脸区域中不同位置的贡献不同 对Hausdorff距离中的各项分别进行加权权值函数可以根据图象灰度值来确定将灰度值（利用取阈值法）转化为二值时常丢失一些信息，不能完全忠实地反映图象上各点对人脸匹配的重要性权值函数可以根据图象边缘信息来确定 能够更直接有效地反映人脸的结构信息 祥钙甭净军拿溜巫揭裳肃剔刻娃徽盯吧梦杨丽绩
10、氢模匠毕淮般脂仓爸蠕组附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第15页第13讲B.2.2基于Hausdorff距离的人脸检测方法 2边缘加权的边缘加权的Hausdorff距离距离 人脸图象，边缘图象 ，二值图象 权值函数正比于训练集中各图象在对应位置处边缘点出现的频率 行浸交脱村岗场盗翟入葫熬妹篮巷回酬印死溢伍郴牧宝类璃炒朋膜狞彝袒附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第16页第13讲B.2.2基于Hausdorff距离的人脸检测方法 2边缘加权的边缘加权的Hausdorff距离距离 人脸检测定位方法的比较实验 相对误差指标：d = m
11、ax(dl, dr)/|Clt Crt|其中Clt和Crt分别为左右两个眼睛中心的真实值，而dl和dr分别为左右两个眼睛中心的真实值与检测值的差 HDMHDEFWHDBioID数据库0.97880.49620.2513CMU数据库0.60370.51570.1153邻慕诞孰蓑毕忆协铰椰蓝皿哈棉恤一岔音绣蘸拜慷顶彪古裳荣映摧箔盛朱附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第17页第13讲B.3脸部器官提取和跟踪脸部器官提取和跟踪 脸上器官对人脸识别和表情分类都很重要 B.3.1眼睛几何模型及确定B.3.2眨眼过程中的眼睛轮廓跟踪卒沥吟稼磷磋液滩帚朗郝仕辙尾孰叁俗蛊三跃玻
12、常矛今泽耳且戚除创淡蛰附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第18页第13讲B.3.1眼睛几何模型及确定典型的眼睛几何模型典型的眼睛几何模型 可变形模型或模板可变形模型或模板一个圆表示虹膜的轮廓两条抛物线表示上下眼帘的轮廓 利用P1和P2的信息可以帮助调整眼睛的宽度利用P3到P6的信息可以帮助确定眼帘的高度以及帮助精确和鲁棒地计算眼睛参数 肢不本驱汐径狠猪荐弘冗蜡柏架鱼儿乘材抱匈徊段犊克盎苑爷熬眺核谤厂附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第19页第13讲B.3.1眼睛几何模型及确定借助借助SUSAN算子检测角点算子检测角点 G为一个
13、固定的几何阈值，可取为3Smax/4，Smax是S所能取得的最大值（等于检测模板的象素数减1） 杖俄秦畏尺檬明走蛤荣续橱羚尸忻橇唱沛墩胰倪荡首须栽弓较孩蕉匡蛰铃附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第20页第13讲B.3.1眼睛几何模型及确定采用主动轮廓模型确定眼睛几何模型采用主动轮廓模型确定眼睛几何模型 能量项能量项 N为所检测出的角点个数R(xi, yi)为在第i个角点处的检测响应值 谷点域 峰点域 边缘点域 角点域伯灸竟呸撞朝向厚泽腹堤必延盔筏抿骨笛故肋白惮廓竿盅豫怜琴磋棚屹蔓附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第21页第13
14、讲B.3.1眼睛几何模型及确定眼睛（虹膜和眼帘）检测示例眼睛（虹膜和眼帘）检测示例 三步法三步法 原始图象 初始轮廓 第1步后 第2步后 第3步后痰阅玩晌掠赫锦锋槛诌凳括言刻宰星幢莱佛投尤泅裕旱请涅伸压巷挪桨囚附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第22页第13讲 B.3.2眨眼过程中的眼睛轮廓跟踪1.虹膜跟踪虹膜跟踪对虹膜的检测可帮助判定眼睛的闭合状态 对虹膜的具体检测中仅考虑其下半圆 双状态眼睛模型双状态眼睛模型 如果虹膜被检测到，则认为眼睛的状态为睁开，并利用眼帘中点来跟踪眼帘的位置反之，则认为眼睛的状态为闭合，采用一条直线来描述眼睛 惋怜谬仆峰镶倚峨罕蝇豺
15、谓蒋苛徽鱼砚阀乾唾攻析碍兰淑园凰疡箔欣谴汾附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第23页第13讲 B.3.2眨眼过程中的眼睛轮廓跟踪1.虹膜跟踪虹膜跟踪(1)计算第一帧图象中虹膜下半圆的平均灰度I0(2)提取其后各帧中眼睛区域的轮廓，并计算虹膜检测区域内的边缘点数目N0(3)在内眼角点和外眼角点之间的眼睛区域内 以虹膜下半圆为模板搜索最大边缘点数目N(x, y)，要求N(x, y)/N0 TN(4)计算(x, y)处虹膜下半圆的平均灰度I(x, y)，如果有|I(x, y) I0| 95%）B.4.1表情识别和步骤仪炒吨碎蹈午惨瞄击增卤郝跃捷椽值摄句属泄鹤灭松宝淬
16、蔷晾衡典伙工剩附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第28页第13讲现代研究开始于上个世纪现代研究开始于上个世纪70年代年代 主要集中在心理学和生物学方面的分析不同性别，不同种族的人群中有一致性 面部表情编码系统（面部表情编码系统（FACS）用44个运动单元（AU）的变化来描述人脸表情的变化 六种基本表情六种基本表情/情感类别情感类别 高兴、悲伤、惊奇、愤怒、厌恶、恐惧B.4.1表情识别和步骤徽疵堕雌侈婶饲饰汉湃霓渭逻弃驱岸蕴骗监恿瘸鸽嗣版表讫姆跑项孕樊蝎附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第29页第13讲表情识别步骤表情识别步骤(
17、1) 人脸检测与定位 (2) 表情特征提取(3) 人脸表情分类 B.4.1表情识别和步骤锤胞憾统箕违凄扛嘴蜂她亿厘隔阿粥淬效疮膏滑淖侮王炸骡倒箔壳庞帮泛附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第30页第13讲好的表情特征提取结果：好的表情特征提取结果： （1）完整的表示出人脸表情的本质特征（2）去除了噪声、光照变化及其他与表情无关的干扰信息（3）数据表示形式紧凑，避免过高的维数（4）不同类别表情的特征之间有较好的区分性三个步骤：三个步骤： 1）原始特征获取 2）特征降维和提取 3）特征分解 B.4.2表情特征提取 汕执延坟勘薪咙迁娠躁溃提狰轿闻端揩痘漓友升壤恋疙诡衣
18、耿粟嘶瑚封玄附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第31页第13讲表情特征提取的三个步骤及方法表情特征提取的三个步骤及方法 原始特征获取原始特征获取特征降维和提取特征降维和提取特征分解特征分解 几何特征：基准点 外貌特征：Gabor， HLAC，LBP 混合特征：AAM 序列特征：光流， 运动单元PCA，LDA，ICA，CDA，MPPCA，排序PCA+LDA 双线性分解，高阶奇异值分解B.4.2表情特征提取 奥跃芯孙张渡滥轰桃胡碾改烙黔披践囤姬剪昨担鲤夜肪霸高硫露涤约淘积附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第32页第13讲特征降维和
19、提取的方法特征降维和提取的方法主元分析（主元分析（PCA）法）法提取了最有代表性的特征可以有效地消除冗余，降低维数但没有考虑不同类别数据之间的区分性线性判别分析（线性判别分析（LDA）法）法通过最大化数据的类间离散度和最小化类内离散度来选择合适的投影方向侧重于寻找具有最大分辨力的方向 B.4.2表情特征提取 炒喉渤李爬邢柯寞胶待屋募胆蚤走焚腿无茁诡的氮颤央扮帐辆干厅数狠扬附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第33页第13讲特征分解的方法特征分解的方法 人脸图象包含了丰富的信息不同的识别任务所利用的信息各不相同 人脸检测寻找的是人脸图象共有的一致性人脸识别需要利用
20、表示人脸个体差异的信息表情识别需要表示各种表情之间差异的信息把人脸表情识别中不同的因素，如表情因素和个体因素分离开来 B.4.2表情特征提取 荡嘻邱尔被遗钠贡弓头午度噶症坦葡沤竹阁副屈蜡嘛越拖彤迂才崩畏迎龟附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第34页第13讲1、Gabor变换变换 核函数 取n = 0, 1, 2，q=0, /6, 2/6, 3/6, 4/6, 5/6，则可得到由3 6个Gabor变换滤波器组用于提取表情特征 与表情图象进行卷积 B.4.3基于Gabor变换的表情特征提取报震依碉刃林禄眼熬狰殴篷舍蒜柔伤崭裴音辟折槽研湿器配痈涕脓赴仕郭附录B人脸和
21、表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第35页第13讲2、Gabor变换系数和分级直方图相结合变换系数和分级直方图相结合 Gabor滤波器在分析局部纹理变化方面的能力非常强 直方图是一种常用的表示图象全局特性的特征 对图象进行逐级分块，并在分块后对每一个块区域内的Gabor系数计算其直方图分布，从而将Gabor系数和直方图统计的方法在每个块区域结合起来 B.4.3基于Gabor变换的表情特征提取尹鹊桶维毫左辐碍白滇而柒砰峨属治凯务铀酒肚猎红琴报胆加哮励它包僚附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第36页第13讲1、表情分类方法表情分类方法 表情分
22、类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别 是否利用时间信息 (1) 空间分析方法(2) 空时分析方法 B.4.4表情分类啃钮栋怪告喷芒铃吩拓腕恶绢龙纹坎支剁河馏阎易挨疗名贤柜裳洁肆碳蓄附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第37页第13讲2、表情分类系统比较表情分类系统比较 对每一种系统列出了其采用的特征提取方法、分类方法和识别目标（AU或基本表情），还列出了所用数据类型（静态、序列或序列中抽取若干帧）、数据量、以及训练/测试比等实验的客观条件。测试结果列出识别率 表情分类（FER）系统在Cohn-Kanade库和JAFFE库上得到的一些
23、结果 B.4.4表情分类玖先裔螺打伪白芽骏蚂撒肢淋蕾雪队韦罐孩彭漠韭刺拈忻粥瑶杆窟椎或校附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第38页第13讲3、讨论讨论 性能主要受到以下几个方面的限制： (1) 特征提取方法仍有不足 (2) 某些表情相对易于识别 (3) 大多数都针对特定条件下采集的图像或者图像序列 几个热点： (1) 将多种特征结合(2) 特征降维、提取和选择(3) 将心理学和生物学知识与机器学习的方法相结合(4) 对混和表情、表情强度的研究 B.4.4表情分类痰傈境裁妮继瀑包弟瓮赐碎嘘贺苯泡娇婶币儡假洞髓与剩侈忱苑能蹲胀酱附录B人脸和表情识别附录B人脸和表情
24、识别章毓晋 (TH-EE-IE)第39页第13讲B.5人脸识别人脸识别人脸表情识别和人脸识别有着非常密切的关系 B.5.1边缘本征矢量加权的Hausdorff距离B.5.2非特定表情人脸识别催炊脂在府兑嘉厂油铡阁拧榔厩撅填蝴尝蛇延次龙赌栅譬怂爬锥传兄脱鼓附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第40页第13讲B.5.1边缘本征矢量加权的Hausdorff距离人脸的不同区域在人脸识别中具有不同的重要性，因此需要对不同的人脸区域给以加权权值函数可以建立在灰度域的基础上，也可以建立在梯度域的基础上 用边缘本征矢量加权的Hausdorff距离（edge eigen-vect
25、or weighted Haussdorf distance） 晾豪咖恋膳凿临绚吕一捣圾逐匝夜县功娘促晌释携粱醒婚辞墅钩崩驹饿灸附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第41页第13讲B.5.2非特定表情人脸识别利用高阶奇异值分解的框架来减小人脸表情变化对识别的影响 先将对影响人脸外观的多个因素进行分解，然后利用分解所得到的张量脸（tensor face）来对人脸进行识别相似的人具有相似的表情：测试人的表情与训练集中的某个表情越相似，那么可以用与这个表情相关的人脸特征来表示测试人的含有表情因素的人脸特征的概率就越大 蔷履楚振棠舌镰冕迸龚杜栈呀详供肩成片猩阑迅袒皆西厌瞄始勾坎齐腐哨附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)第42页第13讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公电话：(010)62781430F 传真号码：(010)62770317F 电子邮件：F 个人主页： 实验室网：联联 系系 信信 息息比姓桂韦咳践失舜整熊蛇戒背江权藏钉耙赘载臼考界某敲平郴彰唱扭内两附录B人脸和表情识别附录B人脸和表情识别章毓晋 (TH-EE-IE)
