语音识别技术简述

《语音识别技术简述》由会员分享，可在线阅读，更多相关《语音识别技术简述（5页珍藏版）》请在金锄头文库上搜索。

1、语音识别技术简述语音识别技术简述概述了语音识别技术所涉及的领域。包括：信号处理、模式识别、概率论 和信息论、发声机理和听觉机理、人工智能等等。 一、声学特征一、声学特征声学特征的提取与选择是语音识别的一个重要环节。声学特征的提取既是 一个信息大幅度压缩的过程，也是一个信号解卷过程，目的是使模式划分器能 更好地划分。由于语音信号的时变特性，特征提取必须在一小段语音信号上进行，也即进行 短时分析。这一段被认为是平稳的分析区间称之为帧，帧与帧之间的偏移通常 取帧长的 1/2 或 1/3。通常要对信号进行预加重以提升高频，对信号加窗以避 免短时语音段边缘的影响。下面介绍常用的一些声学特征下面介绍常用的

2、一些声学特征：线性预测系数 LPC： 线性预测分析从人的发声机理入手，通过对声道的短管级联模型的研究， 认为系统的传递函数符合全极点数字滤波器的形式，从而 n 时刻的信号 可以用前若干时刻的信号的线性组合来估计。通过使实际语音的采样值 和线性预测采样值之间达到均方差最小 LMS，即可得到线性预测系数 LPC。 对 LPC 的计算方法有自相关法（德宾 Durbin 法）、协方差法、格型法等 等。计算上的快速有效保证了这一声学特征的广泛使用。与 LPC 这种预 测参数模型类似的声学特征还有线谱对 LSP、反射系数等等。 倒谱系数 CEP： 利用同态处理方法，对语音信号求离散傅立叶变换 DFT 后取

3、对数，再求 反变换 iDFT 就可得到倒谱系数。对 LPC 倒谱（LPCCEP），在获得滤波器 的线性预测系数后，可以用一个递推公式计算得出。 实验表明，使用倒谱可以提高特征参数的稳定性。 Mel 倒谱系数 MFCC 和感知线性预测 PLP： 不同于 LPC 等通过对人的发声机理的研究而得到的声学特征，Mel 倒谱 系数 MFCC 和感知线性预测 PLP 是受人的听觉系统研究成果推动而导出的 声学特征。对人的听觉机理的研究发现，当两个频率相近的音调同时发 出时，人只能听到一个音调。 临界带宽指的就是这样一种令人的主观感觉发生突变的带宽边界，当两 个音调的频率差小于临界带宽时，人就会把两个音调听

4、成一个，这称之 为屏蔽效应。Mel 刻度是对这一临界带宽的度量方法之一。 MFCC 的计算首先用 FFT 将时域信号转化成频域，之后对其对数能量谱用依照 Mel 刻度分布的三角滤波器组进行卷积，最后对各个滤波器的输出构成的向量进行离散余弦变换 DCT，取前 N 个系数。PLP 仍用德宾法去计算 LPC 参数，但在 计算自相关参数时用的也是对听觉激励的对数能量谱进行 DCT 的方法。二、声学模型二、声学模型语音识别系统的模型通常由声学模型和语言模型两部分组成，分别对应于语音 到音节概率的计算和音节到字概率的计算。本节和下一节分别介绍声学模型和 语言模型方面的技术。HMMHMM 声学建模声学建模：

5、 马尔可夫模型的概念是一个离散时域有限状态自动机，隐马尔可夫模型 HMM 是 指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。 对语音识别系统，输出值通常就是从各个帧计算而得的声学特征。用 HMM 刻画 语音信号需作出两个假设，一是内部状态的转移只与上一状态有关，另一是输 出值只与当前状态（或当前的状态转移）有关，这两个假设大大降低了模型的 复杂度。HMM 的打分、解码和训练相应的算法是前向算法、Viterbi 算法和前向 后向算法。语音识别中使用 HMM 通常是用从左向右单向、带自环、带跨越的拓扑结构来对 识别基元建模，一个音素就是一个三至五状态的 HMM，一个词就是构

6、成词的多 个音素的 HMM 串行起来构成的 HMM，而连续语音识别的整个模型就是词和静音 组合起来的 HMM。上下文相关建模上下文相关建模： 协同发音，指的是一个音受前后相邻音的影响而发生变化，从发声机理上看就 是人的发声器官在一个音转向另一个音时其特性只能渐变，从而使得后一个音 的频谱与其他条件下的频谱产生差异。 上下文相关建模方法在建模时考虑了这一影响，从而使模型能更准确地描述语 音，只考虑前一音的影响的称为 Bi-Phone，考虑前一音和后一音的影响的称为 Tri-Phone。英语的上下文相关建模通常以音素为基元，由于有些音素对其后音素的影响是 相似的，因而可以通过音素解码状态的聚类进行

7、模型参数的共享。聚类的结果 称为 senone。决策树用来实现高效的 triphone 对 senone 的对应，通过回答一 系列前后音所属类别（元/辅音、清/浊音等等）的问题，最终确定其 HMM 状态 应使用哪个 senone。分类回归树 CART 模型用以进行词到音素的发音标注。三、语言模型三、语言模型语言模型主要分为规则模型和统计模型两种。统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律，其中 N- Gram 简单有效，被广泛使用。N-GramN-Gram： 该模型基于这样一种假设，第 n 个词的出现只与前面 N-1 个词相关，而与其它 任何词都不相关，整句的概率就是各个词出现

8、概率的乘积。这些概率可以通过 直接从语料中统计 N 个词同时出现的次数得到。常用的是二元的 Bi-Gram 和三 元的 Tri-Gram。语言模型的性能通常用交叉熵和复杂度（Perplexity）来衡量。交叉熵的意义 是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个 位来编码。复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视 为每个词的平均概率。 平滑是指对没观察到的 N 元组合赋予一个概率值，以保证词序列总能通过语言 模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz 平滑和 Kneser-Ney 平滑。四、搜索四、搜索连续语音识别中的搜索

9、，就是寻找一个词模型序列以描述输入语音信号，从而 得到词解码序列。搜索所依据的是对公式中的声学模型打分和语言模型打分。 在实际使用中，往往要依据经验给语言模型加上一个高权重，并设置一个长词 惩罚分数。ViterbiViterbi： 基于动态规划的 Viterbi 算法在每个时间点上的各个状态，计算解码状态序列 对观察序列的后验概率，保留概率最大的路径，并在每个节点记录下相应的状 态信息以便最后反向获取词解码序列。Viterbi 算法在不丧失最优解的条件下， 同时解决了连续语音识别中 HMM 模型状态序列与声学观察序列的非线性时间对 准、词边界检测和词的识别，从而使这一算法成为语音识别搜索的基本

10、策略。由于语音识别对当前时间点之后的情况无法预测，基于目标函数的启发式剪枝 难以应用。由于 Viterbi 算法的时齐特性，同一时刻的各条路径对应于同样的 观察序列，因而具有可比性，束 Beam 搜索在每一时刻只保留概率最大的前若干 条路径，大幅度的剪枝提高了搜索的效率。这一时齐 Viterbi-Beam 算法是当前 语音识别搜索中最有效的算法。N-bestN-best 搜索和多遍搜索搜索和多遍搜索： 为在搜索中利用各种知识源，通常要进行多遍搜索，第一遍使用代价低的知识 源，产生一个候选列表或词候选网格，在此基础上进行使用代价高的知识源的 第二遍搜索得到最佳路径。此前介绍的知识源有声学模型、语

11、言模型和音标词 典，这些可以用于第一遍搜索。 为实现更高级的语音识别或口语理解，往往要利用一些代价更高的知识源，如 4 阶或 5 阶的 N-Gram、4 阶或更高的上下文相关模型、词间相关模型、分段模 型或语法分析，进行重新打分。最新的实时大词表连续语音识别系统许多都使 用这种多遍搜索策略。N-best 搜索产生一个候选列表，在每个节点要保留 N 条最好的路径，会使计算 复杂度增加到 N 倍。简化的做法是只保留每个节点的若干词候选，但可能丢失 次优候选。一个折衷办法是只考虑两个词长的路径，保留 k 条。词候选网格以 一种更紧凑的方式给出多候选，对 N-best 搜索算法作相应改动后可以得到生成

12、 候选网格的算法。前向后向搜索算法是一个应用多遍搜索的例子。当应用简单知识源进行了前向 的 Viterbi 搜索后，搜索过程中得到的前向概率恰恰可以用在后向搜索的目标 函数的计算中，因而可以使用启发式的 A 算法进行后向搜索，经济地搜索出 N 条候选。五、系统实现五、系统实现语音识别系统选择识别基元的要求是，有准确的定义，能得到足够数据进行训 练，具有一般性。英语通常采用上下文相关的音素建模，汉语的协同发音不如 英语严重，可以采用音节建模。系统所需的训练数据大小与模型复杂度有关。 模型设计得过于复杂以至于超出了所提供的训练数据的能力，会使得性能急剧 下降。听写机听写机： 大词汇量、非特定人、连

13、续语音识别系统通常称为听写机。其架构就是建立在 前述声学模型和语言模型基础上的 HMM 拓扑结构。训练时对每个基元用前向后 向算法获得模型参数，识别时，将基元串接成词，词间加上静音模型并引入语 言模型作为词间转移概率，形成循环结构，用 Viterbi 算法进行解码。 针对汉语易于分割的特点，先进行分割再对每一段进行解码，是用以提高效率 的一个简化方法。对话系统对话系统： 用于实现人机口语对话的系统称为对话系统。受目前技术所限，对话系统往往 是面向一个狭窄领域、词汇量有限的系统，其题材有旅游查询、订票、数据库 检索等等。 其前端是一个语音识别器，识别产生的 N-best 候选或词候选网格，由语法

14、分析 器进行分析获取语义信息，再由对话管理器确定应答信息，由语音合成器输出。 由于目前的系统往往词汇量有限，也可以用提取关键词的方法来获取语义信息。六、自适应与鲁棒性六、自适应与鲁棒性语音识别系统的性能受许多因素的影响，包括不同的说话人、说话方式、环境 噪音、传输信道等等。提高系统鲁棒性，是要提高系统克服这些因素影响的能 力，使系统在不同的应用环境、条件下性能稳定；自适应的目的，是根据不同 的影响来源，自动地、有针对性地对系统进行调整，在使用中逐步提高性能。 以下对影响系统性能的不同因素分别介绍解决办法。解决办法按针对语音特征的方法（以下称特征方法）和模型调整的方法（以下 称模型方法）分为两类

15、。前者需要寻找更好的、高鲁棒性的特征参数，或是在 现有的特征参数基础上，加入一些特定的处理方法。后者是利用少量的自适应 语料来修正或变换原有的说话人无关（SI）模型，从而使其成为说话人自适应 （SA）模型。说话人自适应的特征方法有说话人规一化和说话人子空间法，模型方法有贝叶 斯方法、变换法和模型合并法。语音系统中的噪声，包括环境噪声和录音过程加入的电子噪声。提高系统鲁棒 性的特征方法包括语音增强和寻找对噪声干扰不敏感的特征，模型方法有并行 模型组合 PMC 方法和在训练中人为加入噪声。信道畸变包括录音时话筒的距离、 使用不同灵敏度的话筒、不同增益的前置放大和不同的滤波器设计等等。特征 方法有从倒谱矢量中减去其长时平均值和 RASTA 滤波，模型方法有倒谱平移。七、小结七、小结以上介绍了实现语音识别系统的各个方面的技术。这些技术在实际使用中达到 了较好的效果，但如何克服影响语音的各种因素还需要更深入地分析。目前听 写机系统还不能完全实用化以取代键盘的输入，但识别技术的成熟同时推动了 更高层次的语音理解技术的研究。由于英语与汉语有着不同的特点，针对英语提出的技术在汉语中如何使用也是 一个重要的研究课题，而四声等汉语本身特有的问题也有待解决。