数字声音及应用

《数字声音及应用》由会员分享，可在线阅读，更多相关《数字声音及应用（26页珍藏版）》请在金锄头文库上搜索。

1、 5.3 数字声音及应用5.3.1 波形声音的获取与播放5.3.2 波形声音的表示与应用5.3.3 波形声音的编辑5.3.4 计算机合成声音25.3 数字声音及应用5.3.1 波形声音的获取与播放35.3 数字声音及应用声音的特性和类型n声音由振动产生，通过空气进行传播n声音是一种波，它由许多不同频率的 谐波组成n谐波的频率范围称为声音的“带宽”n计算机处理的声音类型：n话音或语音(speech)，专指人的说话声音，带宽仅为3003400Hzn全频带声音(如音乐声、风雨声、汽车声等)，其带宽可达到20Hz20kHz n人耳可听到的声音统称“可听声”(audio) ，20Hz20kHz45.3

2、数字声音及应用数字波形声音的获取步骤：2. 量化（quantization，模数转换 )3. 编码（encoding）1. 取样（sampling）取 样模拟声音信号取样的目的是把时间上连 续的信号转换成时间上离 散的信号量 化量化是把每个样本从模拟量 转换成为数字量(8位或16位 整数表示)数字 声音01100011001编 码将所有样本的二进制 代码组织在一起，并 进行数据压缩55.3 数字声音及应用数字波形声音的获取设备n声音的联机获取设备(声卡)声波转换 为电信号n声音的脱机获取设备：数码录音笔麦克风 （microphone）声音卡 （sound card）模拟声音数字声音取样、量 化

3、和编码65.3 数字声音及应用声音的重建与播放n计算机输出声音分为两步：1 声音的重建：把声音从数字形式转换成模拟信号形式，由 声卡完成2 声音播放：将模拟声音信号经处理和放大后送到音箱(扬声 器) n关于音箱：n普通音箱接收的是重建的模拟声音信号n数字音箱直接接收数字声音信号，失真更小 数字 声音 011010011101插 值数模转换解 码把压缩编码的数字 声音恢复为压缩编 码前的状态把声音样本从 数字量转换为 模拟量把时间上离散的一组 样本转换成在时间上 连续的模拟声音信号重建的模拟 声音信号75.3 数字声音及应用声卡的功能与逻辑组成波形声音的获取与编码波形声音的重建与播放 MIDI消

4、息的输入MIDI音乐的合成DSPDMA接口PC总线取样，量化D/A重建，滤波声音输出声音输入音乐合成器mixerMIDI接口声卡的主要功能85.3 数字声音及应用选讲：声卡的物理实现 声卡主要由2块芯片组成：主处理芯片：包括数字信号处理器、MIDI控制、I/O控制等 CODEC芯片：负责多声道取样、A/D与D/A转换、混音处理等音频 主芯片音频混合 芯片运 算 放大器功 率 放大器MIDI/joystickMIC输入/ 线路输入P C I 总 线 线路输出扬声器Audio CODEC芯片 当前PC机的声卡大多已不再做成独立的插卡形式，而是 与主板集成在一起，称为集成声卡2种音频技术规范： -

5、AC97音频技术规范 - HD Audio95.3 数字声音及应用选讲：声卡的几种类型硬声卡：除CODEC芯片外，主板上还 有1块音频主处理芯片，很多音效处理 任务无需CPU参与就可独立完成 声卡的类型独立声卡：以扩展卡形式插在机箱中使用集成声卡软声卡：主板上仅1块CODEC芯片，负 责取样与量化处理，I/O控制器部分集 成在主板上的南桥芯片中，DSP的功能 需由CPU协助完成 声卡的组成部 分均集成在主 板上105.3 数字声音及应用5.3.2 波形声音的表示与应用115.3 数字声音及应用数字波形声音的表示及其参数n数字波形声音是使用二进位表示的一种串行比特流，其数 据按时间顺序进行组织，

6、文件扩展名为“.wav”n数字波形声音的主要参数有：n取样频率：n语音的取样频率低，一般为8k 16k Hzn全频带声音(如音乐)取样频率高，一般为44.1k 48k Hzn量化位数：通常为8位、12位或16位n声道数目：单声道为1，双声道为2n码率(比特率)，每秒钟的数据量125.3 数字声音及应用数字波形声音码率的计算n未压缩时数字波形声音的码率计算公式码率 = 取样频率 量化位数 声道数 n例： 声音类型声音信号带 宽 (Hz)取样频率 (kHz)量化位数 (bits)声道 数未压缩时 的 码率数字语音3003 40088164 kb/sCD立体声2020 00044.11621411.

7、2 kb/sn压缩编码之后数字波形声音的码率为：压缩后的码率 = 未压缩时的码率/压缩比n例：上面CD唱片的立体声音乐压缩为MP3后，若压缩比是12，则该MP3音乐的码率是：1411.2 /12118 kb/s左右135.3 数字声音及应用数字波形声音的数据压缩n数据压缩的必要性：n为了降低存储成本和提高在网络上的传输效率n数据压缩的可能性：n声音中包含有大量冗余信息；n人耳灵敏度有限，允许有一定失真而不易察觉n数字波形声音压缩编码的方法：n全频带声音：国际标准MPEG；工业标准Dolby AC-3 n数字语音：固定电话使用ADPCM编码手机使用高效率的混合编码技术所谓“MP3音乐”，它是一种

8、采用MPEG-1层3编码的高质 量数字声音, 压缩比大约1012倍，使一张普通CD光盘上 可以存储大约100首MP3歌曲，可连续播放10小时。 145.3 数字声音及应用选讲：MP3播放器的结构与原理程序 存储器闪烁 存储器液晶显示D/A转换嵌入式处理器 及DSP声音输出控制按键USB接口嵌入式处理器用于运行控制程序，控制各个部件 协调工作：它接收控制按键的操作命令，从闪烁 存储器读取MP3音乐数据送到DSP去解码；显示 播放器的工作状态；负责与主机连接并交换数据 等等数字信号处理器DSP完成 MP3数据流的解码操作，并 输出波形格式的数字音频信 号，经数模转换和功率放大 之后，用户即可听到声

9、音 存放MP3音乐数 据，容量越大， 可存放的歌曲数 目就越多 固定存放MP3 播放器的控制 程序显示MP3 播放器的 工作状态 和歌曲的 歌词155.3 数字声音及应用波形声音的文件类型及其应用 音频 格式文件 扩展名编码 类型效果主要应用开发者WAV.wav未压缩声音达到CD品质支持多种采样频 率和 量化位数，获得广泛 支持微软公司FLAC.flac无损压 缩压缩 比为2:1左右高品质数字音乐Xiph.Org 基金会APE.ape无损压 缩压缩 比为2:1左右高品质数字音乐Matthew T. AshlandM4A.m4a无损压 缩压缩 比为2:1左右QuickTime, iTunes,

10、iPod，Real Player苹果公司MP3.mp3有损压 缩MPEG-1 audio层3 压缩 比为8:112:1因特网，MP3音乐ISOWMA.wma有损压 缩压缩 比高于MP3 使用数字版权保护因特网，音乐微软公司AC3.ac3有损压 缩压缩 比可调， 支持5.1、7.1声道DVD, 数字电视 ， 家庭影院等美国Dolby公司AAC.aac有损压 缩压缩 比可调， 支持5.1、7.1声道DVD, 数字电视 ， 家庭影院等ISO MPEG-2/MPEG-4 165.3 数字声音及应用什么是流媒体？n在因特网上收听(看)音(视)频节目的2种方式：i下载存储方式：先下载存储在计算机中，下载完

11、毕后再播放（缺点：需要等待较长时间，并需要较大的存储容量）i流式传输方式：边下载、边播放（优点：只需要下载一部分数据之 后, 就可以开始一边播放一边下载，等待时间短、存储需求小）n流媒体就是一种允许在网络上让用户一边下载一边收看(听)音视频媒体的媒体分发(delivery)技术n目前流行的主要有3个公司的流媒体技术：Real Networks公司的 Real Media （RealAudio和RealVideo）微软公司的 Windows Media Services (WMA、WMV和ASF)苹果公司的 Quick Time175.3 数字声音及应用选讲：流媒体是如何工作的？流媒体 播放软软

12、件 Web服务器Web 浏览浏览 器流媒体 专用服务器 音频频(视频视频 ) 流媒体文件 网 页页 （客户计算机）http协议3 点击 流媒体 节目， 启动流 媒体播 放程序RTSP/TCPRTP/UDP6 播放器 可以边播 放边接收 数据，并 可以控制 播放、暂 停、快进 、快倒等5 将音(视)频 节目传输给客 户计算机RTCP/UDPHTML网页1 请求网页2 服务器送回网页4 向流媒体服 务器发出请求185.3 数字声音及应用5.3.3 波形声音的编辑195.3 数字声音及应用波形声音编辑软件的功能主要功能：1 编辑声音：如声音剪辑、复制、调节音量2 声音的效果处理：如混响、回声、淡入、

13、淡出等3 录音4 声音的格式转换5 播放声音数字声音 的参数左声道 信号波形右声道 信号波形淡入淡出时间刻度播放标尺声音编辑软件的 典型用户界面205.3 数字声音及应用5.3.4 计算机合成声音215.3 数字声音及应用什么是计算机合成声音？n计算机合成声音就是计算机模仿人说话或演奏音乐n计算机合成声音有两类：n计算机合成话音（语音）：n计算机模仿人把一段文字朗读出来，即把文字转换 为说话声音（简称为 TTS）n应用：有声查询、文稿校对、语言学习、语音秘书 、自动报警、残疾人服务等n计算机合成音乐（MIDI）：n计算机模拟各种乐器发声并按照乐谱演奏音乐n应用：计算机作曲、配器等225.3 数

14、字声音及应用例：计算机合成的语音nHello，everybody （1）n你好，我是贝尔实验室的中文语音合成系统（BellTTS1）n南京大学计算机系2002年招收了202名本科生，22名博士生，130多名硕士生。（中科大讯飞公司） （Bell）n安徽中科大讯飞信息科技有限公司是专门从事中文语音及语言技术软件 （讯飞）n我们都是同行，我们一路同行，去参加人参培植研讨会 （讯飞） （Bell）需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力235.3 数字声音及应用计算机合成音乐（MIDI）音乐 合成器音乐MIDI 文件媒体 播放器MIDI 消息n计算机合成音乐需要三个要素：乐器、乐

15、谱和 “演奏员” 声卡上的音乐合成 器能像电子琴一样 模仿几十种不同的 乐器发出声音，它 按照MIDI消息合成 出不同音色和音调 的音符，通过扬声 器播放出音乐来 乐谱在计算机中使用 一种叫做MIDI的音乐 描述语言来表示。使 用MIDI描述的音乐称 为MIDI音乐。一首乐 曲对应一个MIDI文件 ，其文件扩展名为 .MID或 .MIDI媒体播放器软件相当 于“演奏员”。播放 MIDI音乐时，它先从 磁盘上读入.MID文件 ，解释其内容，然后 以MIDI消息的形式向 声卡上的音乐合成器 发出各种指令245.3 数字声音及应用选讲：音乐合成器nPC机声卡一般都带有MIDI音源（音乐合成器） nM

16、IDI音源有两种：n调频合成器（一种受控的电子振荡器）。音色单调，效果较 差，已很少使用n波表合成器。音色丰富，效果很好，可扩展，现广泛使用 n波表合成器的原理n预先将真实乐器演奏的各个音符的波形数字化，把它们组织 成一个个波表文件存放在存储器中n播放时合成器软件根据乐器类型和音符参数等将相应的波形 数据修饰成所要求的音强和时长，然后合成、加工后播放低通滤波采样、量化加工处理乐器 演奏波表 文件录音255.3 数字声音及应用例：计算机合成的MIDI音乐n例1 音乐之声（6KB） n例2 军港之夜（7KB）nMIDI的优点：n数据量极小（比CD立体声少3个数量级，比MP3少3个数量级 ）n易于制作和编辑修改n可以与波形声音同时播放nMIDI的不足：n只能合成音乐，不能合成歌曲和语言n音质与硬件设备相关265.3 数字声音及应用小结：计算机中的数字声音n数字声音的特点：n是一种连续媒体，传输与播