《第三讲语音合成概述课件》由会员分享，可在线阅读，更多相关《第三讲语音合成概述课件（31页珍藏版）》请在金锄头文库上搜索。
1、第三讲 语音合成概述背景目标基本问题技术历程典型系统第三讲 语音合成概述背景目标基本问题技术历程典型系统背景计算机的普及人机自然语言交互语音合成在人机交互系统中的作用语音合成的其它应用Speech RecognitionNatural Language UnderstandingDialog ManagerSpeech SynthesisNatural Language GenerationInformation DatabaseSpeech InSpeech Out第三讲 语音合成概述背景目标基本问题技术历程典型系统目标“让计算机像人一样说话”从文字到语音TTS（Text-To-Speech
2、）从概念到语音CTS（Concept-To-Speech）从意念到语音ITS（Intention-To-Speech）现阶段-TTS前瞻性-CTS等待时机-ITS第三讲 语音合成概述背景目标基本问题技术历程典型系统基本问题原因从语音到文字的信息缺失从文字到语音（TTS）从文字到发音描述发什么音如何发音从发音描述到语音合成第三讲 语音合成概述背景目标基本问题技术历程典型系统技术历程1937，Voder，Bell Lab.， H. Dudly1962，级联共振峰，KTH，G. Fant1970s，混合共振峰，MIT，D. Klatt1986，PSOLA，F. Charpentier2000s，Un
3、it-selection，N. Campbell & A. Black1970s1980s1990s2000sQualityTimeFormatPSOLAUnit-selection:Segment-orientedUnit-selection:Prosody-orientedExcellent: Human-likedFair: acceptableBad: unacceptable技术历程1937，Voder，Bell Lab.， H. Dudly1962，级联共振峰，KTH，G. Fant1970s，混合共振峰，MIT，D. Klatt1986，PSOLA，F. Charpentier2
4、000s，Unit-selection，N. Campbell & A. Black1970s1980s1990s2000sQualityTimeFormatPSOLAUnit-selection:Segment-orientedUnit-selection:Prosody-orientedExcellent: Human-likedFair: acceptableBad: unacceptable音色，孤立音段音色，孤立音段音色，孤立词音色、韵律，语句韵律，语句第三讲 语音合成概述背景目标基本问题技术历程典型系统典型系统基于单元挑选的TTS系统构成（韵律导向）两个模块前端：文本处理，从文字到
5、发音描述后端：语音处理，从发音描述到语音合成一个接口，发音描述数据库，合成单元ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput text
6、Interface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大学成立于1896年ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment
7、,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大学成立于1896年Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t) ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics Pred
8、ictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackendPOS (Part Of Speech)典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大学成立于1896年Pars
9、er:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)Prosodic Event: OutPut PWord Layer: 北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 tOutPut PPhrase Layer: # 北京交通大学# 成立于# 一八九六年OutPut IPhrase Layer: # 北京交通大学成立于一八九六年OutPut Sentence Layer: # 北京交通大学成立于一八九六年ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextPro
10、sodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大学成立于1896年Pars
11、er:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)Prosodic Event: OutPut PWord Layer: 北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 tPhonetizer:北 bei3 京 jing1(BL :北京) 交 jiao1(BL :交通) 通 tong1(BL :交通) 大 da4(BL :大学) 学 xue2(BL :大学) 成 cheng2(BL :成立) 立 li4(BL :成立) 于 yu2(BL :于) 一 yi1(BL :一八九六年) 八 ba1(BL :一八九六年) 九 jiu3(BL :一八
12、九六年) 六 liu4(BL :一八九六年) 年 nian2(BL :一八九六年)ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput te
13、xtInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Interface: 2 1 2 %0 0 2 %0 ng 2 %0 ng 2 %0 ng 2 %0 0 0 2 %0 vg_pg 2 %0 0 0 2 %0 t 2 %0 0 1 2 ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech
14、 SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Prosodic Acoustic Predictor:GMM(bei3) GMM(jing1) GMM(jiao1) GMM(tong1) GMM(da4) GMM(xue2) GMM(cheng2) GMM(
15、li4) GMM(yu2) GMM(yi1) GMM(ba1) GMM(jiu3) GMM(liu4) GMM(nian4)Segment Acoustic Predictor: occ(bei3) occ(jing1) occ(jiao1) occ(tong1) occ(da4) occ(xue2) occ(cheng2) occ(li4) occ(yu2) occ(yi1) occ(ba1) occ(jiu3) occ(liu4) occ(nian4)ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsod
16、ic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Prosodic Acoustic Predictor:GMM(bei3) GM
17、M(jing1) Segment Acoustic Predictor: occ(bei3) occ(jing1) Unit Selection: argmin cost(sam(bei3),sam(jing1),sam(jiao1),)Corpus: bei3 jing1ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText Normalizat
18、ionCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Prosodic Acoustic Predictor:GMM(bei3) GMM(jing1) Segment Acoustic Predictor: occ(bei3) occ(jing1) Unit Selection: argmin cost(sam(bei
19、3),sam(jing1),sam(jiao1),)Corpus: bei3 jing1Speech Synthesizer:北京交通大学成立于北京交通大学成立于1896年年。ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic para
20、meterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend后续题目基础知识韵律原理分析关键技术数据库构建文本处理声学建模最优搜索/合成器相关研究音色调整/转换HMM合成器挑战基于数据驱动的韵律建模Two trainable components: based on an annotated corpusProsodic event predictorProsodic parameter predictor韵律功能Prosody structureEx. 1, 已经取得文凭的和尚未
21、取得文凭的干部Ex. 2, 顺天府秋捐归您啦，八旗兵丁一年的赏讨下来了。Ex. 3, 政协十届一次会议主席团常务主席会议审议通过了政协十届一次会议提案审查委员会关于政协十届一次会议提案审查情况的报告草案 (58)IntonationEx. 4, 明天是个晴天,最高气温. (flat)Ex. 5, 明天是个晴天!我们可以. (glad)Ex. 6, 明天是个晴天? (interrogative)AccentEx. 7, 明天是个晴天 vs. 明天是个晴天MoodEx. 8, 明天是个晴天 glad vs. 明天是个晴天 sadprosody is not all for mood, timbre
22、 is changed also韵律的声学实现In acoustic, prosody is presented as the variances ofpitchdurationintensitypause韵律描述C-ToBI defined1st, prosody structure知觉判断等级与韵律层级结构对应 coming, accent index 汉语韵律层次韵律结构标注，按照语调短语、中间短语、音步/韵律词三个韵律层级，描述每段发音。语调短语（intonational phrase）：具有完整的语调，听感上可独立成句的一段发音音步（foot）：节奏的基本单位，一般由两个或三个音节构
23、成，少数为单音节。韵律词（prosodic word）：所有的句法词具有类似词的连调模式和词重音模式、较短的词组其它凡是属于一个音步的结构跨度为1-4个音节，极大多数为2-3个音节, 少数为单音节和四音节结构。中间短语（intermediate phrase）：介于语调短语和韵律词之间的节奏单元由一个或多个韵律词构成中间短语之间可能存在嵌套结构韵律标注依据听觉进行边界类型的判断，并辅助以特定类型处理的约定听觉判决所依据的线索基频重置，边界末音节展延，停顿，节奏的变化需从全局的、层级的角度考察每段发音标注符号BP2: 用以界定语调短语边界BP1：用以界定中间短语边界BP0：用以界定有明显停顿的音
24、步/韵律词间的边界空格：用以界定音步/韵律词边界*：用以界定韵律词内的音步边界特定类型约定位于短语边界的、听感上轻读的、作为短语间过渡的虚词，倾向于划归后一短语BP0为音步边界，且具有明显的停、顿，倾向于从严标出一个韵律结构标注的例子S1编者 按(BP2)世界上(BP1) 有些事 是 相似的(BP2)甚至(BP0)惊人地 相似S2编者 按(BP2)世界上 有些事(BP1) 是 相似的(BP2)甚至(BP0)惊人地 相似Problem of consistencytrainingacceptable韵律的深层次标注Accent IndexWhat is AI Sample 催眠师有相当的威望体现
25、语义上的着重和聚焦的一种韵律特征Domains:word level: lexical stresssentence level: prominence, focus, emphasis, accentedWhy is AI neededmore smooth voicemore expressive synthesis voiceAI acoustic realizationrelativity: relative accented/unaccenteduniversal: integrateAI prosody functionNew topicFocusStress pattern (技
26、术/计数)AI初步实验accent index automatically detectingbased on the hierarchically prosodic structureprosodic approximation-ratio of the syllable as the indicator, ref. to Xu Yis workprosodic parameters predicted with AI Samples 催眠师有相当的威望课程报告4 语音合成综述及专题阅读现代语音技术-基础与应用第五章，蔡莲红等编著，清华大学出版社，2003王仁华：“语音合成技术最新研究进展及其应用展望” 初敏 http:/ ieee ssw, icassp, speech prosody在线演示科大讯飞 http:/ http:/ （提交：3-31）思考文语转换系统的任务基于数据库的文语转换系统的实现模块要求：参考文献3篇以上，相关分析注明出处报告二，专题报告 （提交：4-14）四个专题选一： 数据库、文本分析、韵律模型、波形拼接/合成器具体算法篇幅要求：2页（5号字）文件命名：学号_姓名_报告名称
