《基于混淆网络的汉语语音检索技术研究》由会员分享，可在线阅读，更多相关《基于混淆网络的汉语语音检索技术研究（134页珍藏版）》请在金锄头文库上搜索。
1、分类号： U DC ： 密级： 编号： 工学博士学位论文 基于混淆网络的汉语语音检索技术研究 博士研究生： 指导教师 ： 学位级别 ： 学科、专业 ： 所在单位 ： 论文提交日期： 论文答辩日期： 学位授予单位： 黄湘松 赵春晖教授 工学博士 信号与信息处理 信息与通信工程学院 2 0 1 0 年4 月 2 0 1 0 年6 月 哈尔滨工程大学 V 上 竹 C l a s s i f i e dI n d e x ： U D C ： AD is s e r t a ti o nf o rt h eD e g r e eo fD E n g R e s e a r c ho nM a n d a
2、 r i n S p e e c h R e t r i e v a lT e c h n i q u eB a s e do nC o n f u s i o n N e t w o r k C a n d i d a t e ：H u a n gX i a n g s o n g S u p e r v i s o r ：P r o f e s s o rZ h a oC h u n h u i A c a d e m i cD e g r e eA p p li e df o r ：D o c t o ro fE n g i n e e r i n g S p e c i a l t y
3、 ：S i g n a la n dI n f o r m a t i o nP r o c e s s i n g D a t eo fS u b m i s s i o n ：A p r i l ，2 0 1 0 D a t eo fO r a lE x a m i n a t i o n ：J u n e ，2 0 1 0 U n i v e r s i t y ：H a r b i nE n g i n e e r i n gU n i v e r s i t y ，_ 6 - 一 I 一 嶂J 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下， 由
4、作者本人独立完成的。有关观点、方法、数据和文献的引用 已在文中指出，并与参考文献相对应。除文中已注明引用的内 容外，本论文不包含任何其他个人或集体已经公开发表的作品 成果。对本文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本人完全意识到本声明的法律结果由本人承 担。 作者( 签字) ：玩币仁 日期：矽f D 年石月n E l 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生 在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈 尔滨工程大学有权保留并向国家有关部门或机构送交论文的复印 件。本人允许哈尔滨工程大学将论文的部分或全部内容编入
5、有关 数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇 编本学位论文，可以公布论文的全部内容。同时本人保证毕业后 结合学位论文研究课题再撰写的论文一律注明作者第一署名单位 为哈尔滨工程大学。，涉密学位论文待解密后适用本声明。 本论文( 叼在授予学位后即可口在授予学位1 2 个月后 口解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：舌巾和导师( 签字) ：洲 日期： 加阳年6 月p 日y ，年莎月吵日 t 1 峰 ， ， 0 6 t 随着互联网和多媒体技术的快速发展，每天都会涌现海量的音频文件， 如何对这些语音文档进行有效地检索和分类成为信息处理领域中的一个热
6、点 问题。目前语音检索技术的研究主要是基于统计模式识别的基础理论，对连 续语音信号的处理从声学层和语言层两个方面进行考虑。网格技术作为一种 新兴的信息检索技术，其结构恰好能够描述这两方面的内容。它是以文本的 形式把检索过程中得到的多个候选结果保留下来，特别适合用于与任务无关 的语音文档检索中。对网格进行剪枝后得到的混淆网络，在结构上更为紧凑， 能够提高识别的准确率。因此把网格作为一个语音检索系统的输入是非常有 前景的，基于网格和混淆网络的语音检索技术正受到越来越多的重视。 网格的建立和查询搜索阶段的索引策略构成了语音检索技术中两个重要 的组成部分。本论文首先针对语音信号检索中混淆网络的生成、检
7、索过程中 的搜索策略以及置信度的计算等方面的问题进行了研究。之后重点讨论了如 何在混淆网络中进一步丰富声学层面以及语言学层面的信息，提出了在声学 模型中附加声调信息模型和在语言模型中附加韵律信息模型的方法。论文所 做工作主要集中在以下几个方面： 首先，由于在低信噪比环境下，连续语音信号分割效果不理想，因此提 出了一种基于投票选择机制的连续语音信号分割方法。该方法对几种不同的 分割结果进行投票选择，以提高语音分割的准确率。实验结果表明，该方法 在低信噪比条件下对语音信号的分割结果更接近人工标注的分割结果。 其次，针对基于网格结构的语音检索技术，提出了基于枢纽路径的混淆 网络生成方法，在不降低检索
8、性能的前提下，使网格结构更为紧凑，缩减了 索引尺寸，并且使附加信息更加丰富。同时针对搜索策略提出了改进的D M L S 方法，在检索过程中用最小编辑距离来补偿音节识别器中的插入、删除、替 代等错误。另外，针对语音检索中置信度的计算问题，提出了以互信息量作 为置信度的方法，并结合后验概率得到了一个全新的置信度。最后通过仿真 实验，验证了所提出方法的有效性。 再次，为了使混淆网络中的信息更加全面，从而提高语音检索系统的整 体性能，提出将声调模型融合到混淆网络中。并且用声调核子代替全音节进 行声调特征的提取，在此基础上建立了基于声调核子的M S D H M M 声调模 哈尔滨工程大学博士学位论文 型
9、。将该模型与混淆网络中原有声学模型结合，在语言模型不变的情况下进 行了语音检索实验。得到的仿真结果证明了声调特征在语音检索中作为辅助 信息的有效性。 最后，提出在混淆网络中附加韵律学特征信息，来提高语音检索的性能。 先针对韵律事件的检测问题进行了研究，分别利用声学特征、词汇特征和句 法特征进行韵律事件的检测。将建立起来的韵律模型融合到现有混淆网络的 声学模型和语言模型中。进行的语音检索仿真实验表明，附加韵律事件特征 有助于提高语音检索的性能。 综上所述，本论文研究了基于混淆网络的连续汉语语音的检索问题，主 要针对混淆网络的生成和检索阶段的搜索策略进行了改进。提出了基于枢纽 路径的混淆网络生成算
10、法和基于改进D M L S 的检索方法。另外，分别针对混 淆网络中的声学模型和语言模型，采取附加特征信息的方法来提高语音检索 的性能。在声学模型中结合了声调方面的信息，在语言模型中结合了韵律学 方面的信息。得到的实验结果表明，本文中所提出的方法均能够得到较好的 效果，对语音文档检索有性能上的改善和提高。 关键词：语音检索；混淆网络；网格；声调识别；韵律检测 t 口 W i t ht h e r a p i di m p r o v e m e n t o fi n t e m e ta n dm u l t i m e d i at e c h n o l o g y , o v e r w
11、h e l m i n ga u d i o d o c u m e n t se m e r g ee v e r y d a y T h e r e f o r ei nt h ef i e l do f i n f o r m a t i o np r o c e s s i n g ，i th a sb e e nah o t s p o th o wt os e a r c ha n dc l a s s i f yt h e s e s p e e c hd o c u m e n t se f f e c t i v e l y A tp r e s e n t ，t h er
12、e s e a r c ho ns p e e c hr e t r i e v a lh a s b e e nm o s t l yb a s e do ns t a t i s t i c a lp a t t e r nr e c o g n i t i o nt h e o r y , i nw h i c hs p e e c hs i g n a l i sc o n s i d e r df r o mt w oa s p e c t s ：a c o u s t i cl e v e la n dl a n g u a g el e v e l A sar i s i n g
13、 t e c h n o l o g y , l a t t i c et ot h em o m e n t i sc a p a b l eo fd e s c r i b i n gt h e s et w ot h i n g s T h e l a t t i c er e s e r v e ss e v e r a lc a n d i d a t er e s u l t si nt h es e a r c h e ss t a g ei nt h ef o r mo f t r a n s c r i p t ，S O i t e s p e c i a l l ya d
14、a p t st o t h et a s ko fs p e e c hd o c u m e n tr e t r i e v a l C o n f u s i o nn e t w o r kw h i c hi so b t a i n e db yl a t t i c ep r u n i n g ，i sm o r ec o m p a c ti n s t r u c t u r ea n dc a ni m p r o v et h ec o r r e c tr e c o g n i t i o nr a t e H e n c ei t Sv e r yp r o m
15、 i s i n g t h a tal a t t i c ei su s e da st h ei n p u t so fas p e e c hr e t r i e v a ls y s t e m T e c h n o l o g yo f s p e e c hr e t r i e v a lb a s e do nl a t t i c ea n dc o n f u s i o nn e t w o r kh a sb e e np a i dm o r ea n d m o r ea t t e n t i o n L a t t i c eb u i l d i n
16、ga n di n d e x i n gs t r a t e g yi nt h ep r o c e s so fq u e r ys e a r c h i n ga r e t w os i g n i f i c a n tc o m p o s i t i o no ft h et e c h n o l o g yo fs p e e c hr e t r i e v a l T h et h e s i s f i r s t l ys t u d i e dt h eg e n e r a t i o no f ac o n f u s i o nn e t w o r k ，t h es e a r c h i n gs t r a t e g yi nt h e p r o c e s so fi n d e x i n ga n dt h ec a l c u l a t i o no f c o n f i d e n c em e a
