《单片机的C语言应用程序设计课件》由会员分享，可在线阅读，更多相关《单片机的C语言应用程序设计课件（20页珍藏版）》请在金锄头文库上搜索。
1、语音信号处理Speech Signal Processing 2020/7/30,语音信号处理,基础知识以及分析、处理技术（语音信号处理 赵力编著） 隐马尔可夫模型（Fundamentals of Speech Recognition L.Rabiner 著） 专题报告,语音信号处理（参考文献）,语音信号处理 赵力编著 语音信号处理 韩纪庆编著 Fundamentals of Speech Recognition L.Rabiner 著 现代语音技术基础与应用 蔡莲红编著 音频信息处理 韩纪庆编著 国际会议（ICASSP），国际期刊（speech communication）,基础知识以及分析
2、、处理技术 语音信号处理的基础知识 语音信号的短时时域分析 线性预测分析和倒谱分析 隐马尔可夫模型 专题报告,语音信号处理,基础知识以及分析、处理技术语音信号处理的基础知识,1.1 概述： 发音语音学、声学语音学和听觉语音学三大分支 音高、音强、音长、音色四种要素 1.2 语音生成系统及语音信号产生模型： 语音发音系统图 激励+声道+辐射模型 1.3 语音听觉系统（简略） 1.4 语音信号的语谱图（里程碑，1941，贝尔实验室） 宽带语谱图：良好的时间分辨率，频率分辨率较差； 窄带语谱图：良好的频率分辨率，时间分辨率较差。,基础知识以及分析、处理技术语音信号的短时时域分析,2.1 语音信号的数
3、字化和预处理： 分帧、加窗、预加重 2.2 语音信号的时域分析： 短时能量、短时平均幅度、短时过零率 短时自相关函数、短时平均幅度差函数 2.3 语音信号时域分析的应用 端点检测 基音周期的估计,基础知识以及分析、处理技术倒谱分析和线性预测分析,3.1 短时傅里叶谱 3.2 同态信号处理的基本原理 3.3 线性预测分析的基本原理,基础知识以及分析、处理技术 隐马尔可夫模型（HMM） HMM的基本思想 HMM的三大算法 HMM实现中的问题 专题报告,语音信号处理,隐马尔可夫模型HMM的基本思想,4.1 HMM的基本思想,马尔可夫链（Markov Chain） 离散隐马尔可夫模型（Extensio
4、n，urn-and-ball） 隐马尔可夫模型的定义和元素（Definition and Elements）,隐马尔可夫模型HMM的三大算法,4.2 HMM的三大算法,Forward-Backward算法（Probability Evaluation） Viterbi 算法 （Optimal State Sequence） Baum- Welch 重估算法 （Parameter Estimation）,隐马尔可夫模型HMM实现中的问题,初始模型的选取（Initial Estimates of HMM） 多个观察值序列训练（Multiple Observation Sequences） 数据下溢
5、问题（Underflow，Scaling） 训练数据的不足（Insufficient Training Data, Adaptation）,4.3 HMM实现中的问题,基础知识以及分析、处理技术 隐马尔可夫模型 专题报告 语音识别 说话人识别（声纹识别） 情感语音 音视频双模态 语音检索 语音数据库设计与建立,语音信号处理,动态时间规整（DTW）算法 动态规划（Dynamic Programming）的思想,Level-Building 算法 和 One-Pass 算法 （难点） 参考L.Rabiner的书，但中文讲授，借助多媒体较直观地显示 前向-反向搜索的过程,专题报告语音识别,Mel频率
6、倒谱系数（MFCC特征参数）,主要英文讲授，包括：,专题报告说话人识别（声纹识别）,应用背景及基本术语 Speaker-verification & Speaker-identification Text-dependent & Text-independent,模型框架 GMM（Gaussian Mixture Model）模型 GMM-UBM 以及 GMM-MAP-UBM 框架,评价指标及美国NIST比赛的实验结果,情感计算是近年来研究的一个热门话题。让计算机带有情感, 这是人工智能与人机交互追求的目标。作为表达信息的最自然 和最直接的方式之一, 语音也是传递情绪的最重要媒介之一。,从语音
7、中识别出说话人的情感状态是一个模式识别问题, 包括:,专题报告情感语音,情感语音特征 能量、基音 时长、共振峰,情感分类 ANN SVM HMM / HCRF,视觉和听觉是人类感知的两种重要方式，包括：,专题报告音视频双模态（Audio-Visual）,应用背景 语音识别和说话人识别的鲁棒性问题（Visual Speech, Viseme） 情感语音识别,双模态的融合 特征级融合 决策级融合 模型级融合（DBN）,美国录制的双模态数据库 （录像）,语音检索是一个重要的分支，用于大规模数据库的语声检索。 关键分为：切分（Segmentation）和聚类（Clustering）。,汉语语音音节切分,评价机制,基于说话人的语音切分,语音数据流,专题报告语音检索,数据库建立是研究基础：,专题报告语音数据库设计与建立,实验设计（伪装、诱发、自然） 录制环境 注释、评估（离散、维度）,四个人一组，分工协作： 检索文献（至少1篇英文） 理解文献内容（列出的文献在报告中有对应的内容） 写报告（一组一份） 做陈述（可选。中英文均可，整个小组加分）,专题报告综合训练大作业,题目：我列出10个供参考，但不限于此，只要和语音相关均可。 时间：学期中间给出题目，学期末提交报告，最后一堂课陈述。 效果：有人综述，有人给出编程结果。并当场提问、讨论。,Thanks!,
