《情感计算现状与挑战》由会员分享，可在线阅读，更多相关《情感计算现状与挑战（69页珍藏版）》请在金锄头文库上搜索。
1、National Laboratory of Pattern Recognition P R National Laboratory of Pattern Recognition 情感计算研究的现状与挑战情感计算研究的现状与挑战 陶建华 中国科学院自动化研究所 模式识别国家重点实验室 P R National Laboratory of Pattern Recognition 机器人机器人Pepper P R National Laboratory of Pattern Recognition 女：我从火车站怎么到你那？ 男：我到火车站接你。（正常（正常，Level 0Level 0）。 女：
2、不，谢谢。告诉我去的路就行。 男：我到火车站接你。（有点不高兴（有点不高兴，Level 1Level 1）。 女：只要告诉我去的路，我自己能去。 男：我到火车站接你！（有点急躁（有点急躁，Level 2Level 2）。 女：我自己去。 男：我到火车站接你！（生气（生气，Level 3Level 3）。 女：你真要来接我呀？ 男：我到火车站接你！（愤怒（愤怒，Level 4Level 4）。 没有情感理解会是什么样没有情感理解会是什么样？ P R National Laboratory of Pattern Recognition ? ? 内容 内容 ? ? P R National Labo
3、ratory of Pattern Recognition ? ? 内容 内容 ? ? P R National Laboratory of Pattern Recognition 情感计算研究历史 情感计算研究历史 在较长一段时期内，情感一直位于认知科学 研究者的视线以外。 直到20世纪末期，情感作为认知过程重要组 成部分的身份才得到了学术界的普遍认同。 P R National Laboratory of Pattern Recognition James-Lange 情感理论情感理论(1800末末) 生理反应 产生评价 “我的心跳的厉害，所以我一定是害怕了。” P R National
4、Laboratory of Pattern Recognition Cannon-Bard 情感理论情感理论 (1920s) 评价 生理反应 “我感到害怕，所以我的心跳的厉害。.” P R National Laboratory of Pattern Recognition Schachter 两因素理论两因素理论 (Schachter and Singer, 1962) 生理反?+ 周?境 情感感? + 行? P R National Laboratory of Pattern Recognition LeDoux理论理论(LeDoux, 1995) P R National Laborat
5、ory of Pattern Recognition 情感的三种成分 情感的三种成分 主观体验（subjec(ve experience） - 个体对不同情感状态的自我感受 外部表现，即表情（emo(onal expressions） - 在情感状态发生时身体各部分的动作量化形式 面部表情：面部肌肉变化所组成的模式 姿态表情：身体其他部分的表情动作 语调表情：言语的声调、节奏和速度等方面的变化 生理唤醒（physical arousal） - 情感产生的生理反应，是一种生理的激活水平，有不同 的反应模式 P R National Laboratory of Pattern Recognitio
6、n 情感计算的提出 情感计算的提出 MIT的Minsky教授在1985年的专著The Society of Mind中指出：问题不在于智能机器能否有任何情 感，而在于机器实现智能时怎么能够没有情感。 ?1997?MIT? Picard? ?。 现在定义现在定义：情感计算的目的是通过赋予计算机识别情感计算的目的是通过赋予计算机识别、 理解理解、表达和适应人的情感的能力来建立和谐人机表达和适应人的情感的能力来建立和谐人机 环境环境，并使计算机具有更高的并使计算机具有更高的、全面的智能全面的智能。 P R National Laboratory of Pattern Recognition 情侦宝
7、情侦宝 中科院自动化所 话务员和用户情绪监测 P R National Laboratory of Pattern Recognition 情感计算的应用 情感计算的应用 国外研究现状国外研究现状 大场景虚实融合的多模态对话仿真研究 14 The Royal Institute of Technology (KTH)、 University of Nagoya(UON)、 University of Bielefeld、USC 目前该项目受到美国军目前该项目受到美国军 方的大力支持方的大力支持，用于测 试和培训军队士兵的心 理训练、军队指导员的 作战指挥能力。对防止 士兵因精神压力大出现 的“
8、情绪低落”、“抑 郁”或者“临时崩 溃”等战场心理非正常 症状，起到了非常积极 的效果。 P R National Laboratory of Pattern Recognition 情感计算的应用 情感计算的应用 P R National Laboratory of Pattern Recognition 情感研究获得大量关注 情感研究获得大量关注 P R National Laboratory of Pattern Recognition 期刊会议 期刊会议 IEEE Transac(ons on Aff ec(ve Compu(ng （IF3.466） Interna(onal Jour
9、nal of synthe(c Emo(ons Journal on Mul(modal User Interfaces IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE Interna(onal Conference on Aff ec(ve Compu(ng and Intelligent Interac(on Interna(onal Conference on Intelligent Virtual Agents Interna(onal Conference on Mul(modal Interac(on P
10、 R National Laboratory of Pattern Recognition 组织 组织 学会 - AAAC- Associa(on for the Advancement of Aff ec(ve Compu(ng - 中国人工智能学会人工心理和人工情感专业委员会 比赛 - Emo(on Challenge（分别依托ACM MM，ICMI） 标准 - W3C Emo(on Markup Language (Emo(onML) 1.0 P R National Laboratory of Pattern Recognition EmoEonML示例 示例 P R National
11、 Laboratory of Pattern Recognition ? ? 内容 内容 ? ? P R National Laboratory of Pattern Recognition 基本情绪与复合情绪 基本情绪与复合情绪 从生物进化的角度看，人的情绪可分为 - 基本情绪（basic emo(on）（Oatley & Johnson-Laird (1987) 早期理论） 快乐 (happiness)：当前目标取得进展 焦虑 (anxiety)：自我保护的目标受到了威胁 悲伤 (sadness)：当前目标不能实现 愤怒 (anger)：当前目标受挫或遭遇阻碍 厌恶 (disgust)：与
12、味觉（味道）目标相违背 - 复杂情绪（complex emo(on） 是由基本情绪的不同组合派生出来的 P R National Laboratory of Pattern Recognition 三级情感模型 三级情感模型 按照情感中表现的主动和被动的程度，由粗到 细。 P R National Laboratory of Pattern Recognition 情感特征 情感特征 情感计算通常体现在下面几个通道： - 面部特征（面部肌肉变化所组成的模式） - 行为特征（身体其他部分的表情动作） - 言语特征（语音的语气、嗓音和说话内容等） - 生理特征（心跳等） 前三种特征也被称为体语，构
13、成了人类的言 语和非言语交往方式。 P R National Laboratory of Pattern Recognition 通常的情绪分析只是一个模式通常的情绪分析只是一个模式 分类问题 分类问题 1. PCA 2. 决策树 决策树 3. ANN 4. K近邻 5. GMM 6. VQ、DTW、HMM 7. 朴素贝叶斯 8. SVM 9. 集成学习算法集成学习算法：多个子分类器组合成一个模型多个子分类器组合成一个模型，如如BoosEng，Bagging 10. EA、GA 11. 半监督学习 P R National Laboratory of Pattern Recognition 特
14、征提取 特征提取 使用了74个全局统计特征，前36个为韵律特征，后38个特征为音 质特征。韵律特征主要和激活度的相关性较，音质特征与愉悦 度的相关性较? 特征1-10：短时能量及其差分的均值、最值、最小值、中值、 差；? 特征11-25：基音及其阶、阶差分的均值、最值、最小值、 中值、差；? 特征26：基音范围；? 特征27-36：发音帧数、不发音帧数、不发音帧数和发音帧数之 比、发音帧数和总帧数之比、发音区域数、不发音区域数、发音 区域数和不发音区域数之比、发音区域数和总区域数之比、最长 发音区域数、最长不发音区域数；? P R National Laboratory of Pattern
15、Recognition 特征提取 特征提取 特征37-66：第1、第2、第3共振峰及其阶差 分的均值、最值、最小值、中值、差；? 特征67-69：250 Hz以下谱能量百分比、650 Hz以下谱能量百分比、4 kHz以上谱能量百分 比。? 特征70-74：谐波噪声比(HNR)的均值、最 值、最小值、中值、差。谐波噪声比用来做 为反映情感变化的音质特征。? P R National Laboratory of Pattern Recognition 16/5/29 降维 降维 采用fisher准则进特征评价，选择前10个最 佳特征。? P R National Laboratory of Pattern Recognition 可拒判的识别方法 可拒判的识别方法 拒判：实际环境中情感具有模糊和不确定性，存在不属 于任何种情感的情况。? 法：GMM+似然概率模糊熵? 采用GMM对烦躁、喜悦和平静3种情感进建模，每种 情感对应个GMM模型，通过最后验概率准则判决。? xi表示第i条语句样本，j表示情感类别j，最后验概率可 以表示为：? P(xi|j)通过每个情感的GMM模型得到。? P(j)=1/C
