语音信号的时域和频域特征

《语音信号的时域和频域特征》由会员分享，可在线阅读，更多相关《语音信号的时域和频域特征（36页珍藏版）》请在金锄头文库上搜索。

1、 第一章 语音信号的时域及频域特征 1. 语音信号的主要特点语音信号的主要特点 1.1. 语音信号带宽语音信号带宽 语音信号的带宽约为 5KHz ，主要能量集中在低频段。 1.2. 语音信号是典型的随机信号语音信号是典型的随机信号 1） 人的每次发音过程都是一个随机过程。 很难得到两次完 全相同的发音样本。 2） 在信号处理中， 通常假设语音信号是短时平稳的。 例如， 可以认为在语音的浊音段部分，语音的二阶矩统计量是平稳的 (在 510mS 内)，即二阶矩平稳，或称为宽平稳。 1 2. 语音信号的时域波形语音信号的时域波形 语音信号的波形（shi4） 2 语音信号波形（shi4）的局部细节 3

2、 2.1. 语音时域信号特征语音时域信号特征 2.1.1. 语音时域信号的特点语音时域信号的特点 1）清音段：能量低，过零率高，波形特点有点像随机的噪 声。这部分信号常与语音的辅音段对应。 2）浊音段：能量高，过零率低，波形具有周期性特点。所 谓的短时平稳性质就是处于这个语音浊音（元音）段中。 3） 过渡段： 一般是指从辅音段向元音段信号变化之间的部 分。信号变化快，是语音信号处理中最复杂、困难的部分。 4 2.1.2. 语音的短时能量、短时平均幅度和短时过零率语音的短时能量、短时平均幅度和短时过零率 （1）短时能量: = 1 0 2 )( N n w nS=E （2）短时平均幅度: = N

3、M = 1 0 )( n w nS （3）短时过零率: = = = 01 01 sgn sgn)(sgn 1 0 2 1 x x n nSZ N n w 其中 )1(nSw 5 3. 语音信号的短时谱特征语音信号的短时谱特征 3.1. 短时傅立叶谱分析短时傅立叶谱分析 对于能量受限的时域信号， 它的傅立叶变换可以写成 )(tf tj e )(tf )(tf =tff)()( 以上这个傅立叶变换， 在 “宏观上” 给出信号的频谱信息， 但是却无法确定某个“局部”时间段频谱的确切信息。或者也 可以说， 我们不能通过观测局部的时域信号来了解整个的 频谱信息。为此我们引入了所谓的短时傅立叶谱分析技术。

4、 6 有许多技术都可以用来完成信号的短时谱分析。最典型的 就是小波变换和我们现在常采用 FFT 短时谱分析技术。 傅立叶短时谱分析与窗的形状和位置有关（与时刻有关） 。 假设窗函数为，那么信号的短时傅立叶变换为 )(tw)(tf tj et ) 0 = tw twtff()(| )( 0 例如，如果选择窗的形式为一个高斯函数 a t e a 4 2 tw 2 1 )(= 7 由于 1)(=dtt )( f= )( 0 | )( tw f )( 00 = wdtttw 所以有 | )( 0 0 dtf tw 这说明可以被加窗后的短时谱所精确地分解。 这正是我们所希望的性质。 f 8 对于时域离散

5、信号，短时傅立叶变换定义： )(nx mj em ) )(n = 其它n N1 = = m j n nwmxeX ()()( 这里为窗函数。例如，常用的窗函数有 w 矩形窗： = n nw 0, 0 1, )( 汉明窗： () = )n/(N-.-. nw 0, ,12cos460540 )( = 其它n Nn10 9 3.1.1. 短时傅立叶变换的线性滤波实现形式短时傅立叶变换的线性滤波实现形式 短时傅立叶变换可以用两种滤波器实现形式来解释。 实现形式一： 对信号进行调制， 将频谱搬移到低端， 然后用滤 波器进行滤波分析。 )(nx)(nw 10 = = m j n nwmxeX ()()(

6、 mj em ) )( j n eX )(nx nj e )(nw 11 实现形式二：对具有低通性质的滤波器进行调制，得到 带通滤波器，用此带通滤波器对信号进行分析。 )(nw )(nx mj emw )( )( j n eX nj = = m njj n mnxeeX )()( )(nx e nj enw )( 12 3.2. 语谱图：语谱图： 横轴表示时间，纵轴表示频率，用灰度表示对应频谱分量 的信号强度。 13 3.3. 浊音谱特征浊音谱特征 3.3.1. 浊音谱的谱线结构浊音谱的谱线结构 谱线结构是与浊音信号中的周期信号密切相关的。具有与 基音及其谐波相对应的谱线。 3.3.2. 浊音

7、谱的共振峰结构浊音谱的共振峰结构 频谱包络中有几个凸起点，与声道的谐振频率相对应。这 些凸起点称为共振峰（Formant） 。其频率称为共振峰频率。按 频率由低到高依次为第一共振峰、第二共振峰。相应频率用 F1、F2、F3来表示。 14 浊音信号的傅立叶分析谱 15 3.3.3. 元音三角形图元音三角形图 所谓的元音三角形图就是指不同元音的 F1、F2 共振峰频 率在平面图上的关系。 16 3.4. 清音谱特征清音谱特征 清音的频谱无明显的规律，比较平坦。在语音识别中使用 统计模型的方法加以解决。 17 4. 基音与四声基音与四声 4.1. 基音周期与基音频率基音周期与基音频率 1） 基音的周

8、期就是声带振动的周期。 基音周期的倒数就是 基音频率。 2）基音是与人的声带长度、质量等物理量有关。因此与人 的年龄、性别、情绪等生理状态有关。 注意：音高(Pitch)与基音的关系。音高是听觉量，基音是物理 量。正如冷热与温度的关系一样。 18 基音周期示意图 19 4.2. 基音的检测基音的检测 4.2.1. 时域上的基音检测方法时域上的基音检测方法 （1）AMDF 法： 定义平均幅度差函数 = += 1 0 )()( lN n w lnSl)( w nS (n) TTL,n21 在这里是加窗截取的一段语音信号。 Sw 假设为语音信号的基音周期，当，nl = 时，)(l函数接近局部极小值。

9、 20 AMDF 算法特点：只用到简单的加减法运算，没有使用乘 法运算。适合于早期普通的 CPU，因为这种 CPU 的乘法操作 要比加减法操作费时。 （2）自相关法 定义语音的自相关函数为： = += 1 0 )()( lN n w lnSlR)( w nS ,n21=R(l) 当，时，函数接近局部极大值。 Tnl =L, 自相关法特点：在这个算法中使用了乘-累加操作。在数字 21 信号处理器中有专门的硬件指令来快速完成（只要一个周期） 这种乘-累加运算。因此这种算法在 DSP 中得到了普遍的应用。 无论是使用 AMDF 法或是自关法求语音信号的基音周期， 都要在基音周期的范围内搜索T max

10、min TT)(l,或的极 值点位置。一般取 R(l) max 51T. min 50lT.，先计算所有的)(l 或值，然后再搜索得到基音。 R(l) 22 语音（浊音）的自相关函数和 AMDF 曲线 23 （3）中心削波法 在计算语音信号的自关函数时， 为了提高效率， 减少干扰， 可以先对语音信号进行中心削波，然后再计算自相关函数。 根据实验观察， 自相关函数的局部峰值点位置与语音幅度 的峰值点位置重合。根据这个特点，在自关法中只需要计算这 些峰值点位置的自关函数， 然后再搜索比较即可得到信号 的基音周期。 )(lR )(lR 24 25 4.2.2. 频域上的基音检测方法频域上的基音检测方

11、法 在频域中，常常是用谐波分析法，即对浊音信号的谱线结 构进行分析来计算得到基音周期。 注意 在频域上可能不存在与基频对应的谱线。 26 4.3. 基音的平滑基音的平滑 由于在基音的提取过程中不可避免地要产生误差，主要是 基音周期减半或加倍的现象（根据方法的不同，误差的现象会 有所不同） 。一般情况下 90%左右的基音周期都会被准确提取， 但是总有少部分的基音是提取不准确的。因此需要采取平滑的 方法去掉这些奇异点。 在语音编码和汉语四声识别中，基音平滑直接影响到系统 的性能。 27 几种常用基音平滑方法： （1）非线性平滑 例如：采用中值平滑。 中值平滑 点5 中值平滑 点3 （2）线性平滑

12、例如：采用 FIR 滤波器进行低通滤波平滑 滤波平滑 FIR 28 （3）组合平滑 例如： （1）和（2）方法的组合 中值平滑线性平滑 中值平滑线性平滑延迟 中值平滑线性平滑延迟 + + + + + 29 4.4. 汉语孤立字的基音调式汉语孤立字的基音调式 汉语的声调起着辨字、辨义的作用。 4.4.1. 汉语孤立字的四声汉语孤立字的四声 阴平-一声 阳平-二声 上声-三声 去声-四声 30 4.4.2. 汉语四声与基音频率的关系汉语四声与基音频率的关系 对于孤立字音节的声调轨迹，一般可以分成三段： （1）弯头段：对应于音节发音开始时的过渡段。 （2）调型段：对应于音节的饱满发音过程。 （3）降

13、尾段：对应于音节结束时的过渡段。 调型段在汉语四声识别中起主要作用。 31 汉语四声与基音轨迹示意图 32 注 1) 一声的平均基音频率要高于三声的平均基音频率， 一般 来说三声的平均基音频率是最小的。二声和四声较容易区分。 2) 在孤立字语音中，这种调式与基音的轨迹一一对应。但 是，在连续语音中，基音与调式无明确固定的对应关系。容易 因为受到协同发音的影响，调式变得更加复杂，需要进行特殊 处理。 3) 基音的估计对谱分析， 特别是对语音合成编码起着决定 性的重要作用。 33 4.5. 语音信号的端点检测语音信号的端点检测 在实验室较为安静的环境下，利用短时能量和过零率特征 可以得到较为满意的语音端点检测结果。 34 5. 作业与复习内容作业与复习内容 （1）复习语音信号在时域和频域上的特点 （2）了解汉语四声与基音周期的关系。 （3）编写语音端点检测算法程序。 35