多媒体系统及其教育应用

《多媒体系统及其教育应用》由会员分享，可在线阅读，更多相关《多媒体系统及其教育应用（53页珍藏版）》请在金锄头文库上搜索。

1、第四章 音频媒体及应用主讲: 丁继红 15270276155 junru_信息科学与技术学院教育技术教研室1 1本章要点 音频信号特征及其指标 PCM编码原理 MPEG数字音频压缩编码 电子合成音乐MIDI2 2第四章 音频媒体及应用多媒体系统中，声音是指人耳能识别的音频信息 。 计算机音频处理涉及的内容： 1、音频媒体传播特征，也即声波的物理特性； 2、音频信息的记录和产生方式； 3、音频数据的编辑处理等。 对音频信号的处理方法大致可分为两类： 1、数字音频方式， 2、分析合成的方式。 本章内容： 1、介绍音频信号的特点、分析对音频信号的两 种处理方式； 2、介绍数字音频的采样与量化， 3、

2、介绍音乐合成与MIDI。3 34.1.1 音频信号的特征 根据声波的特征，可把音频信息可分成两类： 规则音频和不规则音频。 其中规则音频又可以分为语音、音乐和音效。 规则音频是一种连续变化的模拟信号，可用一条 连续的曲线来表示，称为声波。声波又可以分解 为正弦波的叠加。 声波或正弦波有三个重要参数：频率0、幅度An 和相位n4 44.1.1 音频信号的特征声音三要素：音调、音强和音色。 这三个参数也就决定了音频信号的特征： 基频与音调，谐波与音色，幅度与音强，频带与 音宽的关系。 声音信号f(t0)是一种周期性的复合信号 特征：由许多单一信号即正弦波信号组成 AnSin(not+n) 幅度An

3、、频率o、相位n的特征决定了音频信 号的特性.5 54.1.1 音频信号的特征音频信号的特征： 1、基频与音调 2、谐波与音色 3、幅度与音强 4、音宽与频带6 64.1.1 音频信号的特征1、基频与音调 频率是指信号每秒钟变化的次数。 基音：其中O为t0时刻的基频或基音。 音高：人对声音频率的感觉表现为音调的高低， 在音乐中称为音高。 音调：由频率所决定的。 音阶：音乐中音阶的划分是在频率的对数坐标（ 20log）上取等分而得的。（见书P100）7 74.1.1 音频信号的特征2、谐波与音色 谐波分量：nO称为O的n次谐波分量或高次 谐波分量，也称为泛音。 音色：由混入基音的泛音所决定的，高

4、次谐波越 丰富，音色就越有明亮感和穿透力。 不同的谐波还具有不同的幅值An和相位偏移n ，由此产生千变万化的音色效果。8 84.1.1 音频信号的特征3幅度与音强 人耳对于声音细节的分辨只有在强度适中时才最 灵敏。 人的听觉响应与强度成对数关系。 一般的人只能察觉出3分贝的音强变化，再细分 则没有太多意义。 我们常用音量来描述音强，以分贝（dB=20log ）为单位。 信号的动态范围 =20log(信号的最大强度/信号的最低强度)(dB)9 94.1.1 音频信号的特征4音宽与频带 频带宽度或称带宽，它是描述组成复合信号的频 率范围。10104.1.2 音频信号的指标音频信号的指标： 1、频带

5、宽度 2、动态范围 3、信噪比 4、主管度量法11114.1.2 音频信号的指标 1频带宽度： 音频信号的频带越宽，所包含的音频信号分量越 丰富，音质越好。按照带宽可以将声音质量分为 四级： 数字激光唱盘质量，通常称为CDDA质量 ，这种质量也就是人们常说的超高保真，即： Super HiFi; 调频无线电广播，简称FM质量； 调幅无线电广播，简称AM质量； 电话质量；1979年，Philips和Sony公司结盟联合开发CD- DA(Compact Disc-Digital Audio,精密光盘数 字音频）标准。 12124.1.2 音频信号的指标2动态范围： 动态范围越大，说明音频信号强度的

6、相对变化范 围越大，音响效果越好。13134.1.2 音频信号的指标3信噪比： 信噪比SNR（Signal to Noise Ratio）是有用 信号与噪声之比的简称。 噪音可分为环境噪音和设备噪音。要使信噪比尽 可能地大，才能得到尽可能好的声音质量。14144.1.2 音频信号的指标4主观度量法： 对声音质量的评价，还有一种是主观质量度量。 对噪声的度量，可以说人的感觉机理最有决定意 义。 因此，感觉上的、主观上的测试应该成为评价声 音质量和图像质量不可缺少的部分。 当然，可靠的主观度量值是较难获得的。15154.2 音频的数字化音频信号是一种连续变化的模拟信号； 计算机是处理和记录二进制的

7、数字信号； 因此，由自然音源而得的音频信号必须经过一定 的变化和处理，变成二进制数据后才能送到计算 机进行再编辑和存贮。16164.2 音频的数字化在多媒体技术中，信息处理的硬件都是数字硬件 或数字计算机，因此音频信息进入系统必须进行 数字化处理。 数字音频的特点：保真度好，动态范围大。 模拟声音在时间上是连续的，而数字音频是一个 数据序列，如何转换？ 把模拟声音变成数字声音时，需要进行数字化处 理，这一过程通常包括采样、量化和编码。17174.2 音频的数字化vPcm脉冲调制编码数字信号按允许的误 差将样本值 对应近似的 数值，实现 模拟信号到 数值信号的 映射用二进制代 码表示每一 个经过

8、采样 、量化后的 样本值模拟信号采样采样量化量化编码编码对模拟信号 按固定的时 间间隔取一 个样本，把 时间上连续 的信号变成 离散的信号18184.2 音频的数字化采样就是使音频信号在时间轴上离散化，每隔一 个时间间隔在模拟声音波形上取一个幅度值，采 样的时间间隔称之为采样周期。 根据采样定理，只要采样频率等于或大于音频信 号中最高频率成份的两倍，信息量就不会丢失。 也就是说可以由采样后的离散信号不失真地重建 原始连续的模拟音频信号，否则就会产生不同程 度的失真。19194.2 音频的数字化因此采样频率的选择是音频信息数字化的关键技 术之一。 多媒体技术中通常选用三种音频采样频率： 11.0

9、25kHz，22.05kHz和44.1kHz。 一般在允许失真条件下，尽可能将采样频率选低 些，以免占用太多的数据量。20204.2 音频的数字化量化是对采样后的离散音频信号幅值样本进行离散 化处理，也就是将每一个样本归入预先编排的量化 级上。 若是量化级等间隔排列称为均匀量化，否则称为非 均匀量化。 若按样本概率分布进行非均匀量化可使量化均方误 差最小，也称其为最佳量化。 实际上，不管采用什么方法，量化等级取多大，信 号在量化过程中总是存在误差，称其为量化噪声。 量化等级越多，误差越小，但占用的数据量也就越 多。也就是说，提高信噪比和占用数据量是相互矛 盾的，这就要求系统的设计者或使用者权衡

10、利弊。21214.2 音频的数字化编码就是对量化级以二进制数码按一定数据格式 表示的过程，关于数字音频信号的编码技术将是 本章专门讨论的重点。22224.2.1 PCM编码原理脉冲编码调制PCM（Pulse Code Modulation ）是一种模数转换的最基本编码方法。 编码过程： 首先用一组脉冲采样时钟信号与输入的模拟音频 信号相乘，相乘的结果即输入信号在时间轴上的 数字化。 然后对采样以后的信号幅值进行量化。 最后进行编码。23234.2.1 PCM编码原理24244.2.2 MPEG 数字声音压缩编码一般语音信号的动态范围和频响比较小，采用 8kHz 取样，每样值用 8bit 表示，

11、数据传输速 率需要64kb/s。 现在的语音压缩技术可把码率从原来的 64kb/s 压缩到 4kb/s 左右。 但多媒体通信中的声音要比语音复杂的多，它的 动态范围可达 100dB, 频响范围可达 20Hz 20KHz。 25251MPEG1 声音标准MPEG: Moving Pictures Experts Group 即动态图像专家组。 从1988年开始，ISO/MPEG就在从事视频和相应 声音的压缩技术标准的制定。 MPEG标准的核心是用于DSM的视频和声音编码。 DSM: Digital Storage Media 声音小组负责产生以下具有编码标准： 32、44.1或48KHz抽样频率

12、， 输出码率32192bps每单声道， 输出码率64384bps每立体声双声道的PCM声音 信号26261MPEG1 声音标准MPEG小组根据征寻到的声音压缩算法的相似性， 将它们分为四组： ASPEC: adaptive spectral perceptual entropy coding. ATAC: adaptive transform audio coding. MUSICAM: masking -pattern adapted universal subband integrated coding and multiplexing encoding. ADPCM: adaptive

13、differential pulse code modulation.2727（1）听觉声音编码系统的基本结构时间频率映射（滤波器组）用以将输入的信号转 化为亚取样的频谱分量。依所使用的滤波器组，所 得结果（频率分量）被称作子带值或频率线。 利用滤波器组或并行变换的输出，并根据心理声学 模型求出时变的掩蔽门限估值。 按照量化噪声不超过掩蔽门限的原则，将子带值（ 或频率线）量化、编码，以使量化噪声不可闻。这 一过程因算法不同而不同，复杂性随分析/综合系统 的变化而变化。 按帧打包用于组成码流。它一般包括量化和编码映 射后的样值以及一些边信息（如：比特分配信息等 ）。2828（2）滤波器组下面列出

14、了用于高质量声音信号编码的最常见的 滤波器组的简要概述： QMF-Tree 滤波器组：在不同的频率有不同的频 率分辨率。典型的QMF-Tree 滤波器组有424 个通带，计算复杂度很高。 多相滤波器组：这是一组等间距的滤波器组，结 合 QMF-Tree 滤波器组的设计灵活性和低计算 复杂度，该原型滤波器既有良好的频率分析力（ 超过96dB的截止衰减）又能很好的控制时域特 性。2929（2）滤波器组加正弦锥型窗的DFT、DCT：这是声音信号变换 编码中使用的第一个变换算法。它用低计算复杂 度实现了128512个等间距的滤波器组。它没 有提供临界抽样，即时间频率的变换分量的数 目大于一块里的时域样

15、值数；缺点是可能产生块 效应。 修正离散余弦变换MDCT：该变换结合了临界取 样，具有良好频率分辨性（正弦窗）和类FFT快 速算法的高效性。通常使用128512个等间距 通带。3030（2）滤波器组混合结构（如多相和MDCT）：使用混合结构既 可在不同频率获得不同的频率分辨率，实现时又 只有适当的复杂性。第三层就使用了包括多相滤 波器与MDCT的混合结构。3131（3）通用编码概念考虑到许多不同的应用，可以构造一个通用的编 码系统。根据不同的应用需要，选用性能和复杂 性不同的系统编码层。一个标准的ISO解码器应 能对任何一层编码码流解码。由于使用了比例因 子技术，ISO/MPEG/AUDIO技术能处理的动态 范围大大超过了现存的CD、DAT（digital audio tape ），即传统的16位PCM。32322Layer 1、Layer 2 编解码系统（1）、编码系统 在这两层中，用有32个等间距子带的滤波器组将 输入声音PCM信号子带分离 再由生理声学模型导出动态比特分配 然后进行子带样值的块压缩和比特流打包。 3333（2）Layer1、Layer2 解码首先从ISO/MPEG/AUDIO Layer I、II 码流中将帧头 信息、CRC校验字、边信息（比特分配信息和比例因子 ）及每子带的12个连续样值分离分离出来。 重建过程重建过程用