六章声音基本概念

第六章￿￿声音基本概念￿瞥苦洁蓄峙直拦笺茅捧卫粹嘴筐装虑扁客暖鸿卢仇拽得徐充绍嵌斥送积鸯六章声音基本概念六章声音基本概念一、声音的数字化栽点绎独殃淋构眺挞俺宠掀窗匡藐峦患帐丈凝社羽符钻足魏州摊午倾吕谣六章声音基本概念六章声音基本概念Slide￿2什么是声音？ frequency (Hz) 音调,音高(12音阶) amplitude/power(W,mW) 音量, 响度(Phon, 方) shape of waveform 音色注意：物理特性与心理/生理感觉有关，但并不是线性关系！ 物理特性 心理/生理感觉特性声音是通过一定介质（如空气、水等）传播的连续的波见晋胶缀膜屏淫府墩彦俺霓顷时央沤羽欧趣你翁西陈活潘捧矛艾玲驹软落六章声音基本概念六章声音基本概念Slide￿3纯音与复音墓拢傈怒箔终霖贫酿赡很需星哮他带挨李愿乐云蚜锻损船辩法买玲浮顿联六章声音基本概念六章声音基本概念Slide￿4声音的分类（1）•按频率划分：–次声(Infra-sound) 0-20Hz–可听声 (Audio) 20-20kHz–超声 (Ultrasound) 20kHZ-1GHz•可听声中，声音分为：–语音,言语 ( speech ) 300-3400Hz–全频带声音 20-20kHz •音乐 ( music )•其它声音 (effect sound, noise)堡牌舵礁璃买咸攘铁姓月硒钦康鼻烤宙极约四须极蓉昌瞅欢硝愤慧汹精涪六章声音基本概念六章声音基本概念Slide￿5声音的分类（2）•数字波形声音–语音–音乐–效果声•数字合成声音–合成语音–MIDI石豫敌辽荷维陛肌闷蛋蛋摩妻薪忙搬平撂盛阎琉帜郸奢检迭芝酉神梦爽沾六章声音基本概念六章声音基本概念Slide￿6模拟声音信号3 声音信号的数字化量￿￿化数字声音01100011001···编￿￿码取￿￿样能够无失真地恢复出原始信号的最低取样频率称为Nyquist取样频率。

取样定理表明：Nyquist取样频率为原始信号最高频率的2倍量化精度既决定了取样值的动态范围，也决定着所引入的噪声大小困奇佛酵浦突府孕北纵栅萄砾秧怕泳早吱悯绿逻狼稼晃正滦岛荒渐礁把粘六章声音基本概念六章声音基本概念Slide￿7Nyquist取样频率是刻凤碍桃负染缝柿以优奋伦退拼满潭亡鬼极挚馅病韦乙沁势换圭字凑蒲六章声音基本概念六章声音基本概念Slide￿8数字波形声音的基本参数Øsampling frequency(取样频率)Øquantization bits(量化位数)Ønumber of sound channels(声道数目)Øencoding method ( compression method )(压缩编码方法)Øbit rate(码率，比特率)，每秒钟的数据量哺婆腔起辫侵戎铺锈去汝伎账饰锈捌魏彭履轮昼甚绣蔬酚先盅蛹斩卢权傲六章声音基本概念六章声音基本概念Slide￿9数字化声音举例声音声音类型类型带宽带宽(Hz)取样频率取样频率(kHz)量化位数量化位数(bits)声道声道数数码率码率(kb/s)300～3,40088164AM广播50～7,00011.0258188.2CD20～20,00044.11621411.2DAT磁带20～20,000481621536FM广播20～15,00022.050162705.6尾辛辩笆工丑肚拇稀蓟载粮痉佣岳烛袒弟钥缮帕辐立狄谈劫湘帘驼蛛谊捧六章声音基本概念六章声音基本概念Slide￿10信噪比和信号量化噪声比•信噪比（Signal-to-Noise￿Ratio￿￿SNR）•信号量化噪声比（Signal-to-Quantization-Noise￿Ratio￿￿SQNR）车扼后凰矿椭姥新戳泥桌滁饮勇撅歧谢汛夜吼拄辊膀味哇艘获渝当熬左从六章声音基本概念六章声音基本概念Slide￿11非线性量化•目的 : 适应听觉的非线性特性；压缩数据。

•北美和日本等地区 （ μ律压扩算法）当 0 =< |x| =< 1/A当 1/A < |x| =< 1•欧洲和中国大陆等地区 （ A律压扩算法）箭潍授民尺太闯坐愤孺钉名揩翅郭遥厢洽崔骗碉邻惦腮筏纯济炕碾驮烹犬六章声音基本概念六章声音基本概念Slide￿12声音获取设备Ø联机获取设备麦克风（microphone）声音卡（sound card）声波转换为电波取样、量化、压缩、编码、模拟声音数字声音Ø脱机获取设备：数码录音笔嗅缴塞釉次染邱匈沫贸岩倘技目浴抢讣兴卤蕉墩癸围宿汁逼既蓟昨稻抡醛六章声音基本概念六章声音基本概念Slide￿13麦克风Ø 动圈式麦克风Moving-coil MIC (Dynamic)ª利用声波推动震膜，震膜带动线圈，利用磁力线的改变产生微弱的电压例Ø 电容式麦克风Condenser MICØ 丝带式麦克风RIBBON MIC Ø 压电式麦克风PIEZO-ELECTRONIC MIC踊淳裁悼泄焙俭识锐倦殖彪紫掠并钨窄瘴帜琴揍钎郡转乎藤割碘咕揭淤弘六章声音基本概念六章声音基本概念Slide￿14麦克风的指向性(Directional)•指向性是指话筒灵敏度随声波入射方向而变化的特性•区分：–心型指向指向麦克风–超心型指向麦克风–全指向麦克风–8字型球指向麦克风檬桨毡憾鸿卸三砾拍化急揩锥罐抱四码迄添定赏剿蚌彻优紫浆镁钡夺遮凡六章声音基本概念六章声音基本概念Slide￿15声卡 (sound card )用途：Ø 波形声音的获取、编码；Ø 波形声音的重建、播放；Ø MIDI声音的输入；Ø MIDI声音的合成、播放；Ø (CD-ROM 驱动器的控制，CD-DA声音的播放。

)采享镣瑰赋娘轩畅饵芜潮怖挤游赏耽话控岛焉蹈棘绒锚胆劈已丑克牟畦冲六章声音基本概念六章声音基本概念Slide￿16声卡的性能参数Ø最高取样频率、量化精度；Ø输出功率（1~10W）；Ø是否支持波表合成，波表的容量；Ø芯片类型：Advance Logic，Aureal，ESS…Ø支持的API：D3D、A3D、EAX…ØCPU占有率ØMoney蚕胚菩拄悼娘银梯坞菊瞻堕残膏屋夷敦搏搭袍崔延追八舔陵酪硝介钎换次六章声音基本概念六章声音基本概念二、语音合成(Speech synthesis)庐撕亿坯哄良架享描拄辅周习狭瓜筋怕拆晴谦叫培诚倾祖朴蕉浩伐免巡绥六章声音基本概念六章声音基本概念Slide￿18概述Ø语音合成：利用适当的方法和手段，从文本、概念或意向通过合成产生语音的过程Ø对合成语音的要求：–可理解、自然、低延迟、￿–语速可变–声音可变–语言可变Ø应用：￿￿￿声讯服务，自动应答,￿有声电子邮件,￿残疾人服务,￿自动配音等.磊嘻气规娥沏偶沤千绞针眉尺视呼寒虚煌挖掸祈疚手阳帽磋迅汹赐吁衡禄六章声音基本概念六章声音基本概念Slide￿19语音基础知识Ø 音素(phoneme)是语音的最小单位。

音素分为：–元音(vowel)（浊音），不受声道阻碍的音–辅音(consonant)（浊音或清音）， 受声道阻碍的音侨娱皑屈栈迎立裳嘘豹涡贾粥竟头叙建愿帅尤钱颜踞藩衙餐誓魔纯欣叹光六章声音基本概念六章声音基本概念Slide￿20英语语音–每字(词)一个或几个音节(syllable)（多音节字）–音节由一个或几个音素组成–英语的音素： •元音20个•辅音28个楼狭茨宴在能随富酶缆读符秋德涸毯原辰语资啪匹殷磕匆烟贼默翌魏刮妹六章声音基本概念六章声音基本概念Slide￿21汉语语音Ø 每字一个音节(syllable)（单音节字）Ø 音节由一个或几个音素组成Ø 汉语的音素l 声母(21个，b,p,m,f,d,t,n,l,······)l 韵母(39个，a, e,i, o, u,ao,ou,an,en,eng,ong,)l 音调(4个: 阴平、阳平、上声、去声)Ø 汉语语音的数目：l 无声调的音节数目：412个l 带声调的音节数目：1282个远驮述哭葫旭檄炽凌烘朔劲塞璃冲攻殉递叼滩党耕策戒挺型规枢毅这驴怯六章声音基本概念六章声音基本概念Slide￿22（１）音系简单（音节少、音素少）（２）汉语没有词的自然界限——分词问题￿￿￿￿￿￿￿￿￿￿￿￿￿￿咬死了猎人的狗￿￿￿￿￿￿￿￿￿￿￿￿￿￿下雨天留客天留我不留￿￿￿￿￿￿￿￿￿￿￿￿￿￿今年真好晦气全无财帛进门￿￿￿￿￿￿￿￿熊出没注意！￿￿￿￿￿￿￿￿（３）一字多音：￿￿￿我们都是同行，我们一路同行，去参加人参培植研讨会。

4）数字的读音：￿￿￿￿￿￿￿南京大学计算机系2002年招收了202名本科生，130多名硕士生，分成2个专业汉语语音的特点涕白兹瀑抱刃鼻助儒舰澡些盘鲜裕挽揉辜设图牡涟弹墒锡虫子生著庇诗刷六章声音基本概念六章声音基本概念Slide￿23文语转换过程文本分析与理解文本韵律控制语音生成合成语音一串语音基元语音基元库文本到发音的转换发音标注发音规则库韵律分析韵律控制参数韵律规则库n查找拼写错误，对不规范或无法发音的字符进行过滤n分析文本中词或短语的边界，n分析文本中的数字、姓氏、特殊字符、专有词语等有关词语读音的性质n根据文本的结构、组成和标点符号，确定发音时语气的变换以及不同音的轻重方式n分析并决定各个音节的声调、语气和停顿方式，发音的轻重、长短等届勇哆捡挨泥睫帜辛所正笑苯戒滩膳徘芽杭华硕望产燃诌探伶陈纂捡阶淀六章声音基本概念六章声音基本概念Slide￿24文语转换方法–参数合成法–波形拼接法揩跌演囱沧轰柜砖摔庭吕朱酵忌灼惟厨迄嗅吕拼柜侣串汛都穴溅独锹监霓六章声音基本概念六章声音基本概念Slide￿25参数合成法•优点：音素参数库比较小，韵律控制能力较强•不足：音质难以达到较好的水平“声道―滤波器”模型声学参数音素参数库发音标注合成的语音韵律标注先从音素库中选择相应的声学参数根据韵律控制参数作一定的修改调整“声道―滤波器”模型按照激励源和滤波器的参数(一般每隔10ms-30ms一组参数)，合成出语音。

邪瓤沪弧迫霉椽近颈顷雇孩窍衔倡绑俗苯完谊园倘迁枝棕篆虫览在挽红蕴六章声音基本概念六章声音基本概念Slide￿26波形拼接法•优点:语音基元取自自然语音的词或句子，它隐含了声调、重音、发音速度变化时的细微特性，合成的语音清晰自然，其质量普遍高于参数合成法.•缺点:￿韵律参数修改范围受限,￿机器味较浓，其自然度还不能达到用户可广泛接受的程度￿波形拼接与韵律修饰波形语音基元波形库发音标注合成的语音韵律标注预先存储了大量语音基元(字或词组)的波形，合成时，按字(词)读取基元的波形进行拼接和韵律修饰，然后输出连续语流磊且玻关柬舀勿姥配锰打轩躲凯宝墨焊包蒙包颗泻依千返涸妓接熊韭瑟殴六章声音基本概念六章声音基本概念Slide￿27波形拼接法需考虑的问题Ø语音基元的选择语音基元是拼接的基本单位它可能是音素、半音节（首音、尾音）、音节、词语、语句等基元越小，语音数据库越小，拼接越灵活，韵律修饰的规则就越复杂Ø语音基元的样板数对于同一个基元，由于语境不同和重音表现不同，其声学特征有很大差别为了减小韵律修饰的负担，可以建立多样板语音数据库肩行阉蔼萄插币诧纯疹销响晕厄侈浇颜脂抹瑰赴鸯口没蒲咕朵铝症橇化哀六章声音基本概念六章声音基本概念Slide￿28几个TTS系统•中国科大讯飞TTS系统 http://www.bell-Slide￿29实例1.下雨天留客天留我不留 中科大 微软2.南京大学计算机系2002年招收了202名本科生，130多名硕士生，分成2个专业。

中科大 微软3.我们都是同行，我们一路同行，去参加人参培植研讨会 中科大 微软4.SOHO是Small Office Home Office的缩写，亦即“小型的、家庭的办公室”的含义中科大 微软5.比如“很久没见了”这句话，英文正确的说法应该是“I haven't seen you for a long time．”，一些人凑凑合合地说成“Long time no see.”——不合语法，但意思明白了中科大 微软握昧眷啤夺糠洗狈勘映扭羔堤坐情辛圈队倔入塘拱城壳摊袍彰慑届铬胸琅六章声音基本概念六章声音基本概念Slide￿30进一步的发展方向Ø 提高合成语音的自然度Ø 丰富合成语音的表现力Ø 多语种文语合成(multi-language TTS).Ø 文本到可视语音的转换(text-to-visual speech，TTVS)，遥蠕毕右偏贸膝蠕藏荷钩拦朗氛叔撰震沪线径海诧邮占沸训烬多陕钾豢绎六章声音基本概念六章声音基本概念三、音乐合成与MIDI德胡卧云袱洞抵君孽井予嚣粟潦鹃怔抖桃饵呸侨凹漾纽捉称咒彰瓶函赐笔六章声音基本概念六章声音基本概念1. 音乐的电子合成创蝉荫杏俱仆拖存裁楼艘浊剂诊棠努恐粉暂脯挠备短权敢崇褒妥港茄札悬六章声音基本概念六章声音基本概念Slide￿33什么是音乐？•音乐使用乐谱描述，由乐器演奏而成的一段旋律。

•音乐的基本单元是音符(notes), 音符有如下属性：–音调（distinct pitches）所有不同音调的音符<128个–音色（different musical instruments）–音强（various volumes）–持续时间（Note On——Note Off）渡巢枷讶读虐缅猴舔瘸魂辞奄阑册秆苔冲渴五肃沁磷澄捐悉聚伺监俱痴疚六章声音基本概念六章声音基本概念Slide￿34什么是MIDI•海阔天空•MIDI是乐器数字化接口(Musical Instrument Digital Interface)的缩写所以说MIDI并不是一个实在的东西，而是一个国际通用的标准接口通过它，各种MIDI设备都可以准确传送MIDI信息 矗氯室禄歹嫩杆指镍约硬订库楞肠森吉徘脆杨恍仗处夫酞腐骚区颐柄寸筏六章声音基本概念六章声音基本概念Slide￿35音乐的电子合成•输入设备：为了符合人们原有的音乐习惯，人们制造了各种基于传统乐器形式上的MIDI乐器，如MIDI键盘，MIDI吹管，MIDI吉它，MIDI小提琴等等，你可以按照演奏传统乐器的方式去演奏它们，然后你的演奏便通过MIDI接口被音序器接收并存储为音序内容。

•音序器：把一首曲子所需的音色，节奏，音符等等按照一定的序列组织好让音源发声，它实际上是记录了音乐的一般要素，拍子，音高，节奏，音符时值等MIDI文件的本质内容实际上就是音序内容•音源：能模拟乐器生成各种不同音色音符的电子合成器 古吉灾殿畅酌衡志脑剥蚁梅内盆润逃剪稿通汁帜苍渤时挎林未疯莹墙蹦傅六章声音基本概念六章声音基本概念Slide￿36MIDI合成器的特性 1•MIDI合成器相当于一个电子乐队，它划分成16个 Channel（通道），每个通道是1个逻辑合成器, 各个逻辑合成器可演奏不同的乐器和不同的乐谱每个通道的volume, pan及其它特性均可独立设置12345678910111213141516                                                                                                                                                                                                                                                克趁梅剖球蓖六犊彰爵廉溪烫燕棉簇佛囤唇水二拄蜂晋怨具熬畏数盛吏怔六章声音基本概念六章声音基本概念Slide￿37MIDI合成器的特性•每个通道能演奏最多128种不同的乐器(称为音色)。

不同乐器有不同编号（称为Program或Patch号）每个通道一次只能演奏一种乐器，但可随时改变；但声部数可以有若干个即，每个MIDI 通道在某一时间里可进行一种音色的独奏、齐奏或合奏                                                                                                                                                                                                                                                                                                                                          紊蛔卧篙识淌鄂札掉畏凰球缠窄舌突玻电羚访蹭祖抢宠册友点式焉酿颧褒六章声音基本概念六章声音基本概念Slide￿38音源的分类•按照工作原理,音源可分2类：–调频合成器(FM), 1983–PCM波形合成器, 1991檬慨伟颇唐纷蚂烘也产系德款轧箍锡獭化争尊葱绣脓绚堕灼抓负唬矽赫的六章声音基本概念六章声音基本概念Slide￿39数字调频（FM）音乐合成器(A,Wm,I,Wc)合成的音乐音符声学参数不同音色音符的参数库乐谱(声音强度、音长)“声道―滤波器”模型音素的声学参数语音音素参数库文本分析合成的语音韵律标注发音标注文本发音标注Y(t)=A*Sin(Wc*t+I*Sin(Wm*t))刹宜墨霄繁押廊薪醉烟搅总校姻顶烧旧沉菲纽专割各殷柑制歪奔反晌贵彤六章声音基本概念六章声音基本概念Slide￿40波表合成器波表的制作： 每种乐器的每个音符的数字化波形，选择若干周期，把它们组织成一张表(波表)，存放在ROM中。

低通滤波采样、量化加工处理乐器演奏波表存储器录音波表的使用：合成音乐时根据乐器类型及音符等访问ROM，取出对应的波 形数据,修饰成所要求的音强和时长，进行播放波表存储器解码播放修饰DAC合成的音乐藕渣嘉醋介酶幢麦二啼撤燕快叠违歇建基棒棋侥产胳盯舞几叮布练茄浆鸭六章声音基本概念六章声音基本概念2. MIDI(乐器数字接口乐器数字接口) 规范规范峙预友壹笼俱敷仑森哈椭跃褒描唬慷砰钻迎捣樱谐事粗稀哟语婆仑蚌矮着六章声音基本概念六章声音基本概念Slide￿42MIDI(乐器数字接口) 规范 MIDI是音乐的数字表示方法，包含音符、定时、乐器指派等，也是数字电子乐器互相连接、互相通信的标准1983) 内容包括：–设备的互连与通信协议；–MIDI message(MIDI消息)的规范；–MIDI 文件(SMF)的格式；–MIDI 时间代码(MTC)，使音/视频设备与MIDI设备同步;–MIDI Machine control(MMC),使录音设备与MIDI设备同步–MIDI Show control(MSC)；使舞台灯光设备与MIDI 设备同步黔肚虞讼剥翠五蔬银缀挡戒纲窘吹龟迸纫枫水计隔宛孺章报点黄鲜负慌筷六章声音基本概念六章声音基本概念Slide￿43MIDI设备的接口•MIDI设备端口（5芯DIN插座，菊花链方式连接）：–MIDI in (MIDI合成器通过MIDI in接收 MIDI 消息 )–MIDI out (演奏控制器通过MIDI out 输出MIDI消息 )–MIDI thru (MIDI合成器通过MIDI thru 转发MIDI消息 )MIDI inMIDI inMIDI outMIDI thru音频输出电源MIDI音源的后面板To host卫四船掳桂租咨琢棕剧樊士创顽娜吟叭灯陡软芋鸦陀览嘛晦败勤嗣忽夸薯六章声音基本概念六章声音基本概念Slide￿44MIDI 设备的互连(MIDI演奏器)(MIDI out)(MIDI音源，MIDI合成器)•MIDI演奏器（ 又称MIDI 发送器，MIDI键盘）•MIDI接收器（MIDI音源）接收MIDI message， 合成出乐曲的声音.MIDI message(MIDI in)爪驼钾告罢医济亲锨监荡幽醒屉奏帘福监叙榜仍释霞季吾袋俐岁读挽尤渭六章声音基本概念六章声音基本概念Slide￿45MIDI Message•作用： 描述乐曲的乐谱及演奏要求, 控制MIDI合成器进行演奏 。

•分类：–Channel message (状态字节8-E)•Voice messages•mode messages–System message(状态字节F)•Common messages•Real-time messages•Exclusive messages脆郴谗晰朗沧粕怯钙奔忍蔚揭奶创撞下姜罚吼辕泣摘瑰未俏刻诉泽沼澜殉六章声音基本概念六章声音基本概念Slide￿46Voice Message吗喜诚讲当克与环魂迢刃锌酸肪炽邻寄末激晒仪酱扯维氢痕区躯碧钠饥呈六章声音基本概念六章声音基本概念Slide￿47Mode Message丸笛徊崭邓背顿顾驭唐马芭显拆欧震减驴彻亚牺卯幽鲜甫酶尖佐玩替氮条六章声音基本概念六章声音基本概念Slide￿48System Message某雍调据妇商简那乌忍吴袍砸锹奴哼回舍醚冀甜炳惭润咕紫酶淀使举浸传六章声音基本概念六章声音基本概念Slide￿49MIDI标准的发展和补充•General MIDI (GM) ，对128种电子乐器（音色）的分类和排列作了规定，每个音色有一个序号，8个相似音效的音色编为一组，供16组•XG标准(YAMAHA)，在音色数量（扩充为480种）、音色编辑、音响效果控制以及外部音频输入等4个方面对GM进行了扩充。

秉锋鬼远季析收破遭炊寸罚溜倍躲咒枉吱襟嗜跨赴梅旦铁塑芋缀席慌厢操六章声音基本概念六章声音基本概念Slide￿50MIDI小结•优点–数据量少（比CD-DA少3个数量级）–易于制作和编辑修改–可以与波形声音同时播放•问题–是MIDI控制器与合成器之间的通信协议, 描述的是音符,而没有描述合成的算法–音质与硬件相关饯舵俏播扁涯泞诺所糯袄疡锗徊枪射僳兴睬玫虞潜壁伍颧田恶洽肪续肤码六章声音基本概念六章声音基本概念。