《多媒体课件——第二章 音频》由会员分享,可在线阅读,更多相关《多媒体课件——第二章 音频(54页珍藏版)》请在金锄头文库上搜索。
1、联系电话:6503178,主讲教师:信息科学系 王兵,Multimedia Technology,第二章 音频,音频(声音)是表达思想和情感的一种必不可少的媒体,也是多媒体信息中一个重要组成部分。声音的种类有很多,从人的说话声、乐声到风声、雨声,当它能与文字、图像等结合,一起传递信息时,计算机世界才会变得如此丰富多彩!,目 录,数字音频基础,1,MIDI与音乐合成,2,声 卡,3,4,音频处理软件CoolEdit,语音识别技术,周期:两个相邻信号波峰之间的时间间隔 振幅:波形顶峰(或低点)与基准线的距离 频率:每秒钟内波峰的数目或周期数量(单位Hz),2.1 数字音频基础,声音是通过一定介质传
2、播的一种连续波,可通过振幅(amplitude)、周期(period)与频率(frequency)来表示波形声音。,一、声音的基本概念,声波,声音按频率分类,人类说话声音频率范围:300Hz-3kHz,2.1 数字音频基础,声音三要素,音调:与声音的频率有关,频率高则声音高,频率低则声音低。 音强:又称响度,取决于声音的幅度。也即振幅决定声音的大小和强弱。,2.1 数字音频基础,音色:由混入基音的泛音所决定的。每个基音都有其固有频率和不同音强的泛音,因此使得每个声音具有特殊的音色效果。,2.1 数字音频基础,自然界的声音大多属于非周期信号,包含一定频带的所有频率分量,其频谱是连续谱。连续谱的成
3、份使声音听起来饱满、生动。,声音的连续谱,几种常见的声音频宽,声音的方向感,声音的传播是以声波形式进行的。由于人类的耳朵能够判别出声波到达左右耳的相对时差和声音强度,所有能判断出声音的来源方向;同时也由于空间使声音来回反射,造成了声音的特殊空间效果。,声音是时基类媒体 声音具有过程性,是强实时,连续的。,二、声音的数字化,2.1 数字音频基础,1.声音信号的类型,模拟信号 :把在时间和幅度上都是连续的信号称为模拟信号。 数字信号 :时间和幅度都用离散的数字表示的信号 。,模拟信号,数字信号,2.声音数字化过程,2.1 数字音频基础,采样:在某个特定时刻对模拟量进行测量,每隔一定时间对模拟信号幅
4、值进行测量,即在时间上将模拟信号离散化。,量化:用有限个幅度值近似原来连续变化的幅度值,把模拟信号的连续幅度变为有限数量的有一定间隔的离散值。,编码:按照一定规律,将量化后的值用二进制数字表示,然后转化成二值或多值的数字信号流。,2.1 数字音频基础,2.1 数字音频基础,3.声音数字化三要素,数据量(bytes/s )采样频率(Hz/s)量化位数(bit)声道数/8,2.1 数字音频基础,采样频率、采样精度、声道数,4.声音数字化计算公式,1.WAV文件WAV是Windows所使用的标准数字音频文件,也称波形文件 。因未经压缩,文件数据量很大。特点:声音层次丰富,还原音质好 2.MP3文件M
5、P3(MPEG Audio layer 3)是一种按MPEG标准的音频压缩技术制作的音频文件。特点:高压缩比(1 : 11),优美音质,2.1 数字音频基础,三、数字音频的文件格式,3.WMA文件WMA的全称是Windows Media Audio,它是微软公司推出的与MP3格式齐名的一种新的音频格式。 特点:在压缩比和音质方面都超过了MP3 4.MIDI文件MIDI(乐器数字接口)是一组声音或乐器符号的集合。特点:数据量很小,缺乏重现自然音,2.1 数字音频基础,2.2 MIDI与音乐合成,一、MIDI简介,MIDI是一种乐器和计算机之间通话的语言。MIDI产生声音的方法与声音波形采样输入的
6、方法有很大不同。它不是将模拟信号进行数字编码,而是把MIDI音乐设备上产生的每个动作记录下来。比如我们在电子键盘上演奏,MIDI文件记录的不是实际乐器发出的声音,而是记录你弹奏时弹的是第几个键,按键按了多长时间等等,我们把这些记录的参数叫做指令,MIDI文件就是记录这些指令。就是因为这个原因,相同时间长度的MIDI音乐文件一般都比常用的波形文件(.wav)小得多。,MIDI是Musical Instrument Digital Interface(乐器数字接口)的缩写,是音乐和计算机结合的产物,用于在音乐合成器、电子乐器、计算机之间交换音乐信息的一种标准协议。,2.2 MIDI与音乐合成,二、
7、MIDI音乐制作系统结构,MIDI输入设备通过MIDI接口与计算机相连,MIDI依靠这个接口传递消息来进行彼此通信。这样,计算机可通过音序器软件来采集MIDl输入设备发出的一系列消息或指令,并记录到以mid为扩展名的MIDI文件中。在计算机上音序器可对MIDI文件进行编辑和修改。最后,将MIDI文件送往音乐合成器,由合成器将MIDI文件进行解释并产生波形,然后通过声音发生器送往扬声器播放出来。,MIDI键盘 电子琴 虚拟键盘,系统的核心设备 按照标准MIDI格式记录曲子;控制MIDI数据转换为音频输出,模拟乐器发声的设备,2.2 MIDI与音乐合成,三、MIDI合成器,合成器是一种电子设备,大
8、多情况装在声音卡上。合成器把以数字形式表示的声音转换回原来的模拟信号波形,再送回喇叭,产生声音效果,它的核心是合成器芯片。利用合成器产生MIDI乐音的主要方法是调频FM(Frequency Modulation)合成法和波形表WT(Wave Table)合成法。,调频合成法,FM合成法是20世纪80年代初由美国斯坦福大学的John Chowning发明的。FM合成法生成乐音的基本原理是,用数字信号来表示不同乐音的波形,然后把它们组合起来,再通过数模转换器(DAC)生成乐音播放。简单来说,FM合成法就是通过多个频率的声音混合来模拟乐器声音的方法。,使用FM合成法来产生各种逼真的乐音是相当困难的,
9、有些乐音几乎不能产生。目前的声卡一般采用乐音样本合成法,即波形表合成法。它把真实乐器发出的声音以数字的形式记录存储起来,播放时根据命令生成各种音阶的音符,产生高质量的声音。,2.2 MIDI与音乐合成,波形表合成法,WAVE和MIDI音乐的比较,2.3 声卡,一、声卡的功能,1声卡简介 声音卡或音频卡(Audio Card)是负责录音、播音和声音合成的一种多媒体板卡,也是计算机进行所有与声音相关处理的硬件单元。典型的产品:Creative创新公司的Sound Blaster。 2声卡的功能,录音和播放数字声音文件 控制声音的音量 对声音文件压缩解压缩 语音合成与语音识别 声音效果合成,2.3
10、声卡,二、声卡的组成原理,总线接口芯片为声卡的各个部分与系统总线提供握手信号,同时它也是命令和数据的缓冲器,在声卡与系统总线之间传输命令与数据。,音乐合成器负责将数字音频波形数据或MIDI消息合成为声音。,完成声音信号从模拟到数字和从数字到模拟的相互转换。,可以完成各种信号的记录和播放任务,还可以完成许多处理工作,如ADPCM音频压缩与解压缩运算、改变采样频率、解释MIDI指令或符号以及控制和协调直接存储器访问工作。,可以将不同途径,如话筒或线路输入、CD输入的声音信号进行混合。此外,混音器还为用户提供软件控制音量的功能。,三、声卡的I/O接口,2.3 声卡,线性输入接口(Line In):可
11、与录音机、CD唱机和音响等相连,进行播放或录音。,话筒输入接口(Mic In):可与话筒相连,进行语音的录入。,线性输出接口(Line out ):可跳过声卡的内置放大器,而连接一个有源音箱或外接放大器进行音频的输出。,扬声器输出接口(Speak Out ):从声卡内置功率放大器连接扬声器进行信号输出。,游戏棒/MIDI接口(Joystick/MIDI ):可将游戏杆或MIDI设备如MIDI键盘连接到声卡上。,2.3 声卡,四、声卡的技术指标,2.3 声卡,3. DSP芯片在一些较高档的声卡上都带有数字信号处理器(DSP)芯片,这是一种专门的数据处理器,可以通过软件编程来完成音频处理和压缩等任
12、务,从而减轻CPU的压力。,5. CD-ROM接口许多声卡提供了CD-ROM接口,使得通过音频卡直接播放CD音乐。,4. 音频压缩声卡应支持几种标准的音频压缩算法。,7. 输出声道数声道数,简言之就是此声卡芯片支持输出的音箱数量。一般可以分为单声道、双声道、4.1声道、5.1声道甚至7.1声道声卡。目前市场上主流的声卡芯片一般都支持2个以上的声道。,2.3 声卡,创新公司的5.1声卡、音箱,6. 软件支持应具有DOS和Windows环境的驱动程序以及功能强大的音频信息处理实用工具。,2.3 声卡,4.1音箱,主音箱背面(低音炮),放大,卫星音箱与主音箱连接,音箱和声卡连接线,音箱摆放,小知识,
13、如何连接4.1音箱?,2.4 语音识别技术,一、语音识别的发展历史,1952:Bell实验室研制可识别十个英文数字的语音识别器-Audry系统。 60-80:动态规划(DP)、线性预测(LP)、矢量量化(VQ)、隐马尔可夫模型(HMM)、人工神经元网络(ANN) 特定人、孤立词、小词汇量语音识别系统。 1988:卡内基-梅隆大学研制SPHINX系统 非特定人、大词汇量、连续语音。 1997:IBM公司开发出汉语ViaVoice语音识别系统。ViaVoice98-地方口音,语音识别分为训练和识别两个阶段。训练阶段是在机器中建立被识别语音的样板或模式库,或者对已存在机器中的样板或模式做特定发音人的
14、适用性修整。在识别阶段,将被识别的语音特征参量提取出来进行模式匹配,相似度最大者即为被识别语音。,2.4 语音识别技术,二、语音识别的基本原理,预处理部分包括语音信号采样,反混叠带通滤波,去除个体发音差异和设备、环境引起的噪声影响等,并涉及语音识别基元的选取和端点检测问题。,特征提取部分用于提取语音中反映本质特征的声学参数,如平均能量、平均跨零率、共振峰等。,训练在识别之前进行,通过让讲话者多次重复语音,从原始语音样本中去除冗余信息,保留关键数据,再按照一定规则对数据加以聚类,形成模式库。,模式匹配部分是整个语音识别系统的核心,它是根据一定的准则以及专家知识,计算输入特征与库存模式之间的相似度
15、,判断出输入语音的语义信息。,2.4 语音识别技术,三、语音识别系统的分类,语音识别研究的最终目标是要实现大词汇量、非特定人、连续语音的识别。,2.4 语音识别技术,四、语音识别软件ViaVoice,目前汉字输入的方式主要有四种:键盘输入,手写输入,扫描输入和语音输入。 键盘输入:键盘输入基本上是基于各种输入法,主要又分为字形输入法和拼音输入法。键盘输入法在输入速度有要求的情况下对于键盘操作、指法要求比较高; 手写输入:手写输入是最容易上手的输入方法 ; 扫描输入:扫描输入对于硬件要求比较高,主要是适用于资料的整理; 语音输入:语音输入对输入人员的键盘操作能力、指法要求很低,几乎可以说你只要会
16、说汉语,就可以进行语音输入。,ViaVoice语音识别系统可用于声控打字和语音导航。只要对着微机讲话,不用敲键盘即可打汉字,每分钟可输入150个汉字,是键盘输入的两倍,是普通手写输入的六倍。该系统识别率可达95%以上。并配备了高性能的麦克风,使用便利,特别适合于起草文稿、撰写文章、和准备教案,是文职人员、作家和教育工作者的良好助手。,2.4 语音识别技术,2.5 音频处理软件CoolEdit,Cool Edit 是著名的数字音频软件制作公司Syntrillium开发的一款功能十分强大的数字音频处理软件,它分为Cool Edit Pro 和 Cool Edit 2000 两个版本,前者是全功能的专业版,后者是其简化版。本节以Cool Edit Pro 2.0 中文汉化版为例简要介绍它的功能。Cool Edit Pro 2.0集成了几个相当专业且高效的音频处理工具,功能十分强大。它可以同时处理多达128路音频信号,并且可以对每一路音频信号单独进行编辑处理,加入不同的音效、特效如压缩、扩展、回响、回声、失真、延迟、放大等。它不但能处理多种声音文件的格式,还能直接从CD或VCD中摘录声音,处理后的声音还可以以各种各样的格式输出。,