基于语言模型的信息检索中负反馈技术的研究与实现

《基于语言模型的信息检索中负反馈技术的研究与实现》由会员分享，可在线阅读，更多相关《基于语言模型的信息检索中负反馈技术的研究与实现（72页珍藏版）》请在金锄头文库上搜索。

1、魄 。， 分类号 U DC 论文题目 1 0 1 2 6 3 0 8 0 9 0 1 5 密级 编号 研究生：塞连挞 指导教师：王俊幺数援 专 业：让篡扭型堂皇撞盔 研究方向：值息捡塞： 所在学院：让篡扭堂瞳 2 0 1 1 年0 6 月1 0 日 一慷悖旧 ! j 原 本人声明：所呈交的学位论文 果。除本文已经注明引用的内容外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得凼墓直太堂及其他教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：塞氇挞 指导教师签名： 日期：纽l ! ! 笪! !

2、篁日 期：2 Q l l ! 笪! 竖 在学期间研究成果使用承诺书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：内蒙古大学有权将 学位论文的全部内容或部分保留并向国家有关机构、部门送交学位论文的复印件和磁盘，允 许编入有关数据库进行检索，也可以采用影印、缩印或其他复制手段保存、汇编学位论文。 为保护学院和导师的知识产权，作者在学期间取得的研究成果属于内蒙古大学。作者今后 使用涉及在学期间主要研究内容或研究成果，须征得内蒙古大学就读期间导师的同意；若用 于发表论文，版权单位必须署名为内蒙古大学方可投稿或公开发表。 学位论文作一：础指导教臌：塞逢， 日 内蒙古大学硕士学位论文 基于

3、语言模型的信息检索中负反馈技术的研究与实现 摘要 2 l 世纪是网络经济的时代，伴随着互联网的迅速发展，i n t e r n e t 上的信息 量在不断增加，然而如何从浩瀚的信息海洋中得到所需要的信息就显得更加有 “意义。 在信息检索中，搜索引擎使用排序算法对被检索文档根据与查询的相关性 大小进行排序，研究者们提出了关于相关性的数学检索模型。语言模型是目前 性能较好的模型。对于困难查询( d i f f i c u l tq u e r y ) 来说，检索结果较差并且排 序靠前的文档很少有与用户需求相关的，怎样在语言模型下使用那些不相关的 信息来提高检索精度呢? 就提出了相关反馈技术的特殊情

4、形即负反馈技术。 本文主要提出了基于语言模型的信息检索中正相关反馈和负反馈相结合 的方法，在语言模型框架下应用类似于向量空间模型中的R o c c h i o 反馈方法的 反馈算法，对查询进行扩展和查询词的概率进行修改。本文主要考虑初次检索 结果的前十个文档，作为查询扩展的局部文档情形，一般传统地认为这十个文 档都是相关文档，用来进行伪相关性反馈。本文是将前十个文档分开考虑，根 据与标准的相关性判断文件的比较，将它们分为与查询相关的文档集和与查询 不相关的文档集，分别与原查询生成正模型和负模型，即在正模型中出现又在 负模型中出现的词加到查询中对查询进行扩展，并且适当地增加在相关文档中 出现的查

5、询词的概率，减少在不相关文档中出现的查询词的概率，即把相关性 反馈和负反馈相结合来提高扩展后查询的精确度，从而使得新查询模型的检索 结果性能较伪相关性反馈后的查询和原查询都有很大的提高。 ， - 口 内蒙古大学硕士学位论文 R E S E A R C HA N DI M P L E M E N T A T I O No F N E G A T I V E F E E D B A C KI NI N F o R M A T I O NR E T I U E V A L B A S E DO NL A N G U A G EM o D E L A BS T R A C T T h e21s tc

6、e n t u r yi st h et i m e so fn e t w o r ke c o n o m y ，w i t ht h er a p i dd e v e l o p m e n t o fi n t e m e t ，t h ea m o u n to fi n f o r m a t i o no nt h ei n t e m e ti si n c r e a s i n g ，h o w e v e r ，h o wt o g e tt h ei n f o r m a t i o nm e yn e e df r o mt h ev a s to c e a n

7、o fi n f o r m a t i o nb e c o m em o r e m e a n i n g f u l I ni n f o r m a t i o nr e t r i e v a l ，s e a r c he n g i n eu s er a n k i n ga l g o r i t h mt o s o r tt h e r e t r i e v e dd o c u m e n t sa c c o r d i n gt h er e l e v a n c eb e t w e e nt h eq u e r ya n dd o c u m e n t

8、 s ，t h e r e s e a r c h e r sp r e s e n t e dam a t h e m a t i c a lr e t r i e v a lm o d e lo fr e l e v a n c e A tp r e s e n t ， l a n g u a g em o d e l h a sb e t t e rp e r f o r m a n c e F o rt h ed i f f i c u l tq u e r y ，t h es e a r c h d o c u m e n t ss o r t e df r o n to ft h

9、er e s u l t sa r ep o o r ，a n dl i t t l ed o c u m e n t sa r ea s s o c i a t e d w i t ht h eu s e r Sq u e r yn e e d s I nt h i sc a s e ，h o wt ou s et h en o r e l e v a n ti n f o r m a t i o nt o y i m p r o v et h er e t r i e v a la c c u r a c y ? R e s e a r c h e r sp r o p o s e dan

10、 e g a t i v ef e e d b a c k w h i c hi s as p e c i a lc a s eo fr e l e v a n c ef e e d b a c k T h i sp a p e rp r o p o s e dan e wm e t h o do fc o m b i n i n gn e g a t i v ef e e d b a c ka n d r e l e v a n tf e e d b a c ka l t o g e t h e ri ni n f o r m a t i o nr e t r i e v a lb a s

11、e do nl a n g u a g em o d e l U n d e rt h el a n g u a g em o d e lf r a m e w o r k ，Ia p p l i e dt h ea p p r o a c ho ff e e d b a c ka l g o r i t h m s i m i l a rt oR o c c h i of e e d b a c ki nt h ev e c t o rs p a c em o d e lt oe x p e n dq u e r ya n dc h a n g e t h ep r o b a b i l

12、i t yo fq u e r yw o r d s I nt h i sp a p e r ，w ec o n s i d e r e dt h ef i r s tt e nd o c u m e n t s I I I o It h ei n i t i a ls e a r c h r e s u l t s ，a st h el o c a l s i t u a t i o no fq u e r ye x p a n s i o n ；w e t r a d i t i o n a l l y v i e wt h e s et e n d o c u m e n t sa sr

13、 e l e v a n t d o c u m e n t s ，u s e df o r p s e u d o 。r e l e v a n c ef e e d b a c k I nt h i sp a p e r ，t h ef i r s tt e nd o c u m e n t sw i l lb ec o n s i d e r e d s e p a r a t e l y ，a c c o r d i n gt ot h ec o m p a r i s o nw i t hs t a n d a r dj u d g m e n to fr e l e v a n c

14、 e ， s e p a r a t i n gc o l l e c t i o no fd o c u m e n t si n t os e to fd o c u m e n t sr e l e v a n tt oaq u e r ya n ds e t o fd o c u m e n t sn o - r e l a t e dt ot h e q u e r y , g e n e r a t i n gp o s i t i v em o d e la n dn e g a t i v em o d e l w i t ht h eo r i g i n a lq u e

15、r ys e p a r a t e l y ，t h ew o r d sw h i c ha p p e a ri nt h en e g a t i v em o d e l a n dp o s i t i v em o d e lb ea d d e dt ot h e q u e r yt oe x p a n dq u e r y ，w ea p p r o p r i a t e l y i n c r e a s ep r o b a b i l i t yo fq u e r yt e r m sa p p e a r e di nt h ed o c u m e n t

16、so fr e l e v a n t ，a n d r e d u c ep r o b a b i l i t yo fq u e r yt e r m sa p p e a r e di nt h ed o c u m e n t so fn o r e l e v a n t ， c o m b i n i n gr e l e v a n tf e e d b a c ka n dn e g a t i v ef e e d b a c k ，t oi m p r o v et h ea c c u r a c yo ft h e e x p a n d e dq u e r y ，m a k i n gt h es e a r c hr e s u l t sp e r f o r m a n c eo ft h en e wq u e r ym o d e l h a v eg r e a t l yi m p r o v e dt h a nt h e q u e r ya f t