《韵律再合成课件》由会员分享，可在线阅读，更多相关《韵律再合成课件（19页珍藏版）》请在金锄头文库上搜索。
1、XIMERAXIMERA中的汉语语音合成技术中的汉语语音合成技术倪倪 晋富晋富 坂井坂井 信辅信辅 中村中村 哲哲 （NICT/ATR-SLCNICT/ATR-SLC）(2008/03/22)(2008/03/22) 日本中国语学会关东支部扩大会议中央大学发表概要发表概要p 语音合成系统概述p 演示p 相关工作 文本规范化 词典构成 语言模型 分词及词性标记评价 拼音转换评价 韵律参数预测 语音数据库 语调转换 韵律再合成 强化虚词处理语音合成系统略图语音合成系统略图文本处理文本处理语音合成器语音合成器韵律控制韵律控制输入文本输入文本合成语音合成语音说什么说什么怎么说怎么说发音发音源滤波器型合
2、成器波形拼接型合成器注：语音合成系统合成语音，但现在的合成系统并不具有文本理解能力。分词、词性标记及发音生成词典语言模型文本规范化口语规则口语规则语音参数预测声学模型单元选择及波形拼接语音数据库输入文本输出合成语音说什么说什么怎么说怎么说房价是150。房价是一百五十美元。房价 是 一百五十 美元 。 名词 动词 数词 名词 符号 fang2jia4 shi4 yi1bai2wu3shi2mei3yuan2韵律词韵律词1 句子基频曲线2 音素时长参数3 能量参数4 谱参数XIMERAXIMERA汉语语音合成概述汉语语音合成概述韵律短语韵律词及短语预测一、一、十二二分贝二赫兹二京米二兆米文本规范化
3、文本规范化符号：百分之三千分之三三号第三三度三摄氏度二比五三美元三英镑因为所以相似于无穷大恒等于等于约等于不等于大于小于米经理 四乘四 二百米乘三 某经理数词1,234年代住拨代码：“”一千二百三十四九十年代住三零三拨二二零代码：七二七三点一五“三一五”“：上午：下午：绩是分是以九八二分五十四秒午后二点十二分一秒上午九点一分下午二点二十分至三点二零零三年三月三日三分之一绩是三十三比三分是三十三比三以三十三比三百分之三至百分之五东京都，3000，地名，dong1 jing1 du1毛泽东，1500，专有名词，mao2 ze2 dong1 拼写 频度 词性 拼音一般名词专有名词地名时间词代词动词(
4、17类)形容词副词(5类)量词介词 定词(5类)连词(4类)助词(2类)时态标记叹词后置词位置词外国语62,562138,85625,5922,44340452,1142,7902,958492248 1,1922629822716937071词典词典构成构成(290,624条汉语词及符号)房价/名词 是/ 动词 一百五十/数词 美元/名词 。/符号词性unigram: 名词, 动词, 数词拼写unigram: 房价, 是, 一百五十, 美元, 。词性拼写unigram: 房价/名词, 是/动词 , 词性bigram: 名词-动词, 动词-数词, 数词-名词, 名词-符号词性拼写bigram1
5、: 房价/名词- 动词, 是/ 动词-数词, 词性拼写bigram2: 名词-是/动词, 动词-一百五十/数词, 拼写bigram: 房价-是, 是-一百五十, 一百五十-美元, 美元-。CRF(conditional random field: 条件随机场)HMM (hidden Markov model:马尔可夫模型)房价/名词 是/ 动词 一百五十/数词 美元/名词 。/符号词性拼写unigram: 房价/名词, 是/动词 , 词性bigram: 名词-动词, 动词-数词, 数词-名词, 名词-符号语言模型语言模型单词 96.7% 98.5%单词和词性 92.3% 94.5%词典大小：1
6、36,787 (来自训练用语料库)单词 n/a 97.0%单词和词性 93.7%词典大小： 290,624 (来自各种语料库)单词 n/a 96.5%单词和词性 91.0%词典大小： 560,168 (以上汉语词库+日语词)HMM CRF分词及词性标记评价分词及词性标记评价分析软件：和布蕪 训练语料库：人工检查过词边界及词性标记训练集大小：含有2,406,780词的句子测试集(训练集外)大小：含有2,396,950词的句子） 长 【名词】 chang2 长 1米长 【动词】 zhang3 长 1米藏 【名词】 zang4 藏 族藏 【动词】 cang2 藏 东西地 【名词】 di4 种 地 地
7、 【助词】 de0 慢慢 地好 【形容词】 hao3 好 吃好 【副词】 hao4 好 吃圈 【名词】 juan4 羊 圈圈 【动词】 quan1 圈 东西调 【动词】 tiao3 调 音量 调 【动词】 diao4 调 文件系 【动词】 ji4 系 鞋带系 【动词】 xi4 系 哺育类拼音转换评价拼音转换评价测试集：约15000句(229,332音节)，人工检查过拼音有调音节正确率：97.0%无调音节正确率：99.2%典型典型错误分析错误分析: :词性错误模糊性韵律参数预测韵律参数预测平价商店选购。语言特征语言特征声学特征声学特征声学模型HMM模型训练(约1.5小时语音)1 句子基频曲线2
8、音素时长参数3 能量参数4 谱参数基频句子基频曲线、音节位置时长、能量参数、谱参数音节，声调，前音节声调，后音节声调该音节所在词的词性，词长，在短语中前、后位置(音节数)该音节所在短语长，短语在句中前后序号，前位置(音节数)单元中的音节数单元百分率(%)100ms以上停顿间单元相邻的两标点间单元300ms以上停顿间单元实验材料实验材料：p 8874句(8.3小时语音)p 考察标点 、，：；！？。 破折号及省略号p 100ms以上的停顿:7093个p 300ms以上的停顿:3610个 实验结果及观察： 99%的逗号处伴随有100ms以上的停顿 标点是重要的停顿标志 57.4%的停顿(100ms以
9、上)非与标点相连 仅标点处停顿显然是不足够的 86%的韵律短语长为3至9个音节 韵律短语预测韵律短语预测韵律和句法结构的交叉依赖性韵律和句法结构的交叉依赖性句法分枝交叉韵律短语的次数按停延长划分韵律短语实验材料实验材料：p 1091句(3小时语音)p 句子选自PENN Treebankp n交叉：n个句法分枝横切一韵 律短语; 0交叉表示韵律短语是 一句法短语的子串观察： 大约有26.7%的停顿(短语内含1-5交叉)是不能由句法结构来预测。实验结果实验结果: :坚决实行/依法办事韵律短语句法短语1 交叉0 交叉句法树人民日报人民日报语料库语料库旅行会话旅行会话语料库语料库句子选择算法句子选择算
10、法句子集句子集(约15000句)最大化语言和音韵特征的覆盖率录音录音（防音室、女性播音员）语音数据库语音数据库 (20小时)语音分段及声学语音分段及声学参数提取参数提取语音数据库语音数据库合成样本合成样本演示演示您好,下面是几例有关旅行会话和新闻方面的汉语语音合成样本.您是用现金还是用信用卡付款?请告诉我您的姓名和房间号。美国民主党总统参选人奥巴马 先后赢得威斯康辛州和夏威夷州初选，挫败对手希拉里，这是他自“超级星期二”以来取得的连续第10场胜利。共和党方面，麦凯恩再次压倒对手赫卡比，进一步锁定他在共和党总统参选人提名战中的胜局。（伦敦纽约综合讯） 国际油价星期二在纽约隔夜市场大幅飙升，收盘价
11、首度突破100美元，盘中一度触及每桶100.10美元的历史新高。陈述陈述- -疑问语调相互转换疑问语调相互转换( (分析合成例子分析合成例子) )过路客照相过路客照相红鼻头没权红鼻头没权陈述句陈述句 疑问句疑问句陈述句陈述句 疑问句疑问句都快八点了。都快都快八点了。都快八点八点了。韵律再合成韵律再合成语音波形基频波形语音波形基频波形我想起来了例文我想 起来了我 想起来了【趋向动词】【一般动词】需要强化虚词处理需要强化虚词处理起来起来与动词相关联的例子与动词相关联的例子: :【了着过】安排安排了了/ /过过 / /着着 三次报告会【动介】安排安排给给 / /在在 南方【重叠】安排安排安排安排 生
12、活【结果】安排安排得着得着/ / 不着不着/ / 成成/ / 不成不成/ / 好好/ / 不好不好/ / 得上得上/ /不上不上/ /下下/ /不下不下 生活【趋向】安排安排上来上来/ /上去上去/ /下来下来/ /下去下去/ /进来进来/ /进去进去/ /出来出来/ /进去进去 几个客人【趋向】安排安排几个客人 上来上来/ /上去上去/ /下来下来/ /下去下去/ /进来进来/ /进去进去/ /出来出来/ /进去进去【趋向】安排安排上上/ /下下 / / 进进/ /出出 几个客人来来 / /去去【趋向】安排安排得过来得过来 / /不过来不过来 / /得开得开 / /不开不开 / /起来起来 球赛【趋向】安排安排起起 球赛 来来 了【趋向】安排安排到到 计划里 去去 / / 来来从韵律特征上看，虚词和实词存在一定区别；从会话角度看，处理好虚词更能体现口语化。处理虚词处理虚词结束语结束语介绍了XIMERA汉语语音合成技术，包括文本规范化、分词标注、拼音生成、韵律控制及语音数据库方面的工作。简要介绍为实现会话语音合成的相关工作。语音合成对语言学研究的一些期待：语言解码能力提高合成语音的通讯能力统计技术和(知识)规则相结合语言学研究成果工程应用
