情感语音识别开题报告

《情感语音识别开题报告》由会员分享，可在线阅读，更多相关《情感语音识别开题报告（5页珍藏版）》请在金锄头文库上搜索。

1、太原理工大学信息工程学院本科毕业设计（论文）开题报告毕业设计 (论文) 题目语音情感识别及其特征提取的研究学生姓名付建梅导师姓名张雪英专业通信工程 报告日期2011.4 班级0701 指导教师意见签字年月日专业( 教 研室) 主 任意见 年月日系主任意见 年月日太原理工大学信息工程学院毕业设计（论文）开题报告1 1. 国内外研究现状及课题意义1.1 课题研究意义现在社会，人类跟计算机的交往越来越受到研究者的重视。自然和谐的人机界面的 沟通应该能理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同的反馈 和支持。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并针对人的情 感做出

2、智能、灵敏、友好反应的计算系统，即赋予计算机像人一样地观察、理解和生成 各种情感特征的能力，使计算机能够更加自动适应操作者。实现这些，首先必须能够识 别操作者的情感，而后根据情感的判断来调整交互对话的方式。 情感计算研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿 态处理、情感分析、自然人机界面、情感机器人等。情感计算，受到越来越多的国内外 学者和研究机构的重视。美国的各大信息技术实验室正加紧进行情感计算系统的研究。 例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部 表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来 调节程

3、序以识别人的情感。目前国内的情感计算研究重点在于，通过各种传感器获取由 人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人的情感计算 系统。情感计算已经应用到生活中的各个领域：在信息家电和智能仪器中增加自动感知 人们情绪状态的功能，可以提供更好的服务：在信息检索过程中，通过情感分析解析功 能，则可提高智能信息检索的精度和效率：在远程教育平台中，情感计算技术的应用能 提升教学效果；利用多模式的情感交换技术，还可以构筑更贴近人们生活的智能空间和 虚拟场景。此外，情感计算还能应用在机器人、智能玩具、可视会议、唇读系统、可视 电话系统的应用场合，在传输语音信号的时候能够显示视频动画，将

4、有助于人类特别是 听力有障碍的人对语音的理解。 正是基于以上课题对于科研、社会的重要意义，我的毕业论文的主要任务是建立带 有情感的音视频数据库，研究音频信号中能体现情感的特征，分析哪些特征可以有效地 表达情感，进行特征提取并进行情感识别实验。这些工作是为后面进行带有感情的音视 频合成动画系统建立基础。1.2 国内外研究现状语音信号处理中，语音识别作为一个重要的研究领域，已经有很长的研究历史，其 中语音特征提取与情感识别又是其中的一个重要方面。 在 1972 年，Williams 发现人的情感变化对语音的基音轮廓有很大的影响，这是国 外最早开展的语音情感方面的研究之一。1990 年，麻省理工学院

5、多媒体实验室构造了 一个“情感编辑器”对外界各种情感信号进行采样，如人的语音信号、脸部表情信号等 来识别各种情感。1996 年日本东京 Seikei 大学提出情感空间的概念并建立了语音情感 模型。 2000 年，Maribor 大学的 Vladimir Hozjan 研究了基于多种语言的语音情感识 别。2009 年 4 月，日本产业技术综合研究所(AIST) 研制一个具有丰富表情的新型女性 机器人“ HRP-4C ” 。通过对主人语音信号的识别，机器人可以做出喜、怒、哀、乐和惊 讶的表情等。在国内，语音情感识别的研究起步较晚。2001 年，东南大学赵力等人提 出语音信号中的情感识别研究。200

6、3 年，北京科技大学谷学静等人将BDI Agent 技术 应用与情感机器人的语音识别技术研究中。另外，2003 年 12 月中科院自动化所等单位 在北京主办了第一届中国情感计算及智能交互学术会议，2005 年 10 月又在北京主办了 首届国际情感计算及智能交互学术会议。太原理工大学信息工程学院毕业设计（论文）开题报告2 心理学和语言心理学的研究人员提供了大量的关于语音学和韵律学的研究成果，可 以用来分析情感语音特征。纵观近几十年的各类文献及各国工作人员的研究，针对情感 识别所采用的特征几乎大都是基于韵律特征，比如基音121、强度、持续时间这几个类 型。以及这些特征的基础上衍生的大量的参数，比如

7、这些基本特征的均值、 范围、中值、 方差、轮廓变化等。在有的文献中也考虑了语音特征的情况，比如共振峰信息等。 Paeschke等研究了平均基频、基频最大值、基频变化范围、基频曲线斜率、重音中基频 上升和下降的速度以及时长等韵律特征，发现韵律特征在不同情感之间均有较为可靠的 区别特性。 Dellaert等仅利用韵律特征，实现了包括高兴、悲伤、愤怒、害怕四类情感 的情感分类。从总的结果和应用情况来看，在语音情感信息处理中所采用的特征总是局 限于一个较小的范畴， 而到底何种特征能够较好的反应情感的信息还没有一个明确的结 论，关于这些特征以及这些特征的衍生特征的有效性评价也和情感识别在同步研究进行 之

8、中。 现在用于语音情感识别的方法很多，如主元素分析(PCA)、最大似然 Bayes 分类器 和 K最近邻分类器、人工神经网络(NN)，下面就现阶段国内外语音情感识别方法作一概 括的介绍。 人工神经网络是一种在模拟人脑神经组织的基础上发展起来的，它是由大量的计算 单元(神经元 ) 相互连接而成的网络，可以通过训练获得知识并解决问题。ANN 是一种应 用广泛的模式识别方法， Nicholson 等人使用一种称为One-Class-in-one的网络拓扑结 构，为每一种情感训练一个子网络，根据各个子网络的输出结果判断情感类别。Park 等人使用一个具有一个输入节点、两个隐层节点和四个输出节点的RNN

9、 网络进行情感识 别。 隐马尔科夫模型 (Hidden Markov Model)是一种统计信号模型，它用特征矢量序列 作为输入训练得到。 Schuller等人分别使用了连续的HMM 模型、短时特征序列， 进行了 情感识别实验，他的方法中，使用的特征为一个包括基音和能量轮廓及其导数的六维特 征矢量序列， New等人在文献中使用了基于矢量量化的离散HMM 模型对六种情感进行分 类，作者使用了一种称为LFPC系数的特征作为特征矢量。试验得到六种情感状态的平 均识别率为 78% ， 此外作者还将 LFPC参数与语音识别中常用的LPCC 和 MFCC 系数进行比 较，结果表明 LFPC性能优于其他两种

10、参数。 另外的方法有， Ververidis等人使用了基于 Parzen 窗函数估计和高斯分布的两种贝 叶斯分类算法，研究了87 种基于频谱、基音和能量的语音统计特征参数对五种情感状 态的识别能力。 Dellaert等人比较了最大似然贝叶斯分类、核回归和 KNN 等三种方法的 识别性能，结果 KNN 方法的识别性能最优。2.主要研究内容2.1 语音情感识别存在的问题虽然世界各国的研究人员在语音情感识别研究领域取得了许多的研究成果，采用的 特征以及识别模型各种各样， 但是究竟应该选择什么特征?用什么建模方法 ?由于目前各 文献使用的情感语音数据库不同，得到的识别结果也相去甚远，不具有可比性，因而

11、很 难客观地判别特征及建模方法的优劣，现阶段存在的问题有: 1.情感数据库是进行语音情感识别的基础，目前没有一个标准的多语言情感数据库 供大家研究。2.现阶段用于情感识别的特征各种各样，概括起来，分为两类，即基于全局的静态 特征和基于局部变化的动态特征。基频作为描述情感的最重要特征，很多文献都采用基太原理工大学信息工程学院毕业设计（论文）开题报告3 于基频的统计特征，如峰值、均值、方差等。虽然这些特征描述了语音信号在不同情感 状态下的变化，但是没有进一步详细描述摹频曲线的变化趋势，针对这种现状，本文中 增加了基频的整体斜率，以及句子前端变化的斜率等特征，来提高情感的判断力. 3. 其次，对于语

12、音情感识别，虽然有不同的识别方法，但是对这些识别方法很少进 行比较。我们对近几年的语音情感文献的结果进行了对比，研究发现他们的研究对象相 差极大，结果各异，仅从识别率而言，就形成了从53% 到 90% 这样悬殊的情况，本文在 录制的情感数据库上， 用语音处理中成熟的方法高斯混合模型和隐马尔科夫模型进行实 验，并对它们的识别结果进行比较。2.2 主要工作内容1. 录制情感语音数据库。 我们录制了带有高兴、 生气、中性 3 种情感的语音数据库。 2. 情感语音数据的前端处理。对语句进行预加重、加窗和端点检测。3. 提取了情感语音的MFCC 和 ZCPA 两种特征参数，并用支持向量机进行分类识别。3

13、.拟采用的研究思路（方法、技术路线、可行性论证等）通过阅读文献以及对该课题在国内外的研究现状和存在的主要问题，进而我确定了论文研究的主要内容，进而确定了论文的提纲：第一章为绪论，介绍课题的来源和意义，以及国内外的研究现状，语音情感识别中面临的问题和困难和主要的章节安排。第二章介绍语音情感识别的预处理过程和详细介绍了两种特征参数：MFCC 和ZCPA 。第三章介绍情感语音库。大致介绍了当今国际上比较有名的语音库，并详细介绍本设计所使用的语音库。第四章介绍支持向量机的基本原理，并用支持向量机对提取的语音参数进行识别。4.设计工作安排及进度第五周：继续查阅文献资料的同时开始对提纲中的研究方向进行可行

14、性的论证；第六周：重点熟悉该课题的概念及其理论成果，为论文第一章节做准备；第七周：阅读文献，重点理解语音情感识别的概念，特性及其发展现状；第八周：搜集整理语音情感特征提取方法的资料；第九周：洛阳实习；第十周：搜集整理并熟悉特征参数；第十一周：完成中期检查表并开始写作前言部分；第十二周：完成语音信号处理基本理论知识的写作；第十三周：完成三、四章节的写作；太原理工大学信息工程学院毕业设计（论文）开题报告4 第十四周：完成第五章节的写作；第十五周：收尾及其参考文献；第十六周：根据指导老师的建议修改订正；第十七周：修改及其完稿；5.参考文献1Batliner A,Fischer K, Huber R,

15、 et al.How to Find Trouble inCommunicationJ.Speech Communication, 2003,40(1-2): 117-143. 2Cowie R,Douglas-Cowie E, Tsapatsoulis N,et al.Emotion Recognitionin Human Computer InteractionJ.IEEE Signal Processingmagazine,2001,18(1):32-80. 3S Chennoukh,A Gerrits,G Miet,R Sluijter. Speech Enhancement viaF

16、requency Extension using Spectral FrequencyA. Proc. ICASSPC.Salt Lake City, 2001.5. 4 陈建厦 .语音情感识别综述A. 第一届中国情感计算会议C. 北京 ,2003. 5 方恨少 .日本新型女机器人HRP-4C 会说话表情丰富EB/OL. http:/ 6 赵力 ,钱向民 ,邹采荣等 .语音信号中的情感识别研究J.软件学报 ,2001,12(7):1050-1055. 7 林奕琳 ,韦岗 ,杨康才 .语音情感识别的研究进展J.电路与系统学报,2007,12(1): 90-98. 8Ortony A,Turner T J.(1990).What s Basic about Basic Emotions.Psychological Review.1997,3:315-331. 9K s