《多媒体信息综合检索的关键技术研究》由会员分享，可在线阅读，更多相关《多媒体信息综合检索的关键技术研究（92页珍藏版）》请在金锄头文库上搜索。
1、浙江大学硕士学位论文多媒体信息综合检索的关键技术研究姓名：刘翔申请学位级别：硕士专业：计算机应用指导教师：庄越挺20040301激，冱大学硪士学位论文摘要摘要本文以数字图书馆等容纳多种媒体攫型的信息资料库为麻用曰标，总结了当前国内外多媒傣捡索髅域中最滔跃戆图像检索彝携频捻素( 包据技拳路线、档关按末静典型系缭) 戆辑究现状，讨论了数字图书馆对多媒体检索技术所提山的新问题和挑战，并对多媒体信息检索技术进行了拓展性磺究，重点奔绍了三项关键技术：综台时空特性麴撩关反馈方法，交叉参照索引的多模态检索方法、以及面向雾媒体文档的多通道检索方法。本文深入醑究了耀关反馕豹大极交互方法+ 分孛厅了鏊予瘫骞懿黧豫
2、捡豢审娟关菠镶信息的时间特性与空间特性，在此基础上酋次提出了一种时空约束支持向量机( T S C S V M ) 的掇关反馈学习方法。在空闯郡融闻维度上有疑终寐的剽蠲用户在嫒豢( 掘关反镄戆锤臻) 过程中不断反馈的正例( 相关图像) 和负俐( 不相关图像) 信息，达到合理利用相关反馈信息、准确掌握用户查询需求以及掇态检豢精度的晷蛇。和普避支持爽餐挑方法翊比，该方法蟹明湿的提高相关反馈的学习能力，提高检索结暴的准确率；同时还能在检索过程中准确实时的跟踪用户的查询需求，在用户的查询需求发生转移时照得格外宥效。为实现多种模态数据的综合检索，本文突破传统的文本标注方法，提出了一种多媒体对象的索引力+
3、法交义参照索S l 方洼。在该方法中，多媒体对象的索；l 就是一照与该多媒体对象语义相关的多媒体对象。同时，提m 了一种全新的多模态检索机制，在检索和柏关反馈中结合交义参照索引与底层特征，实现对多模态数据的统一处理；另外，还提出，能够有效提高检索系统的短剃和睦期性能的一种交叉参照索引的自动更新算法。针对数字幽书馁等异构傣患知识麾的特点，本文提出和实现了一个嚣| 鼋多媒体文拶的多通道( 对应如文本、陶像、视频等的多种模态) 检索系统 定义了一个新的用来描迷离媒体文档内容的框架，该梃架不但提取出多媒体文档在器通道F 的基，内容的底层特征，两且还记泵r 多嫌体文档中不同多媒体对象间静链接关系；同时，
4、提出了一种基丁- 图模型的交叉参照知识库，用来存储从链接关祭中挖掘出的多媒体对象间的语义关系，通过个有效的语义上t - 文分丰厅弊法，在检索过程中计算每个对象与资询豹语义相识菠。语义上F 文分析葬法不仅使得基于内容的多媒体信息检索考虑到多媒体对象的语义信息而且还支持崩户通过通道韬羧静方式遴 亍相关反赣，撬镶了一种邂为灵活的查询模式。实验表明该系统对多攥体对象的检索性能优于传统的基于内铎的多媒体检索方法。关键字：多媒体，信感检索，基于内容的酗像，视频检索，相关反馈支持向鼹极，多模态多媒体文档，多通道，语义上下文澎涯大学磺七学位论文A B S 罩R A e TA B S T R A C TI nt
5、 h i sp a p e r , t h er e s e a r c ho nm u l t i m e d i ar e t r i e v a l ( p a r t i c u l a r l yt h ei m a g e v i d e or e t r i e v a l ) ，i n c l u d i n gf u n d a m e n t a la p p r o a c h e s ，r e l a t e dt e c h n i q u e s ，a n dt y p i c a ls y s t e m s ，i ss u m m a r i z e d n l
6、 er e s e a r c hi s s u e sp o s e db yi n f o r m a t i o nr e t r i e v a li nd i g i t a ll i b r a r i e so rs i m i l a rI a r g e s c a l ei n f o r m a t i o nr e p o s i t o r i e sa r ea l s od i s c u s s e d T h ew o r kp r e s e n t e di nt h i sp a p e re x t e n d st h ec o n v e n t
7、i o n a lm u l t i m e d i ar e t r i e v a lr e s e a r c hb yp r o p o s i n gt h r e ek e yt e c h n i q u e s ：ar e l e v a n c ef e e d b a c kl e a r n i n gm e t h o dr e f l e c t i n gs p a t i a la n dt e m p o r a lc h a r a c t e r i s t i c s ，ac r o s s r e f e r e n c ei n d e xa i d
8、e dm u l t i m o d a ld a t ar e t r i e v a lm e c h a n i s m ，a n dm u l t i - c h a n n e lm u l t i m e d i ad o c u m e n t sr e t r i e v a la n dm a n a g e m e n t T h es p a t i a la n dt e m p o r a lc h a r a c t e r i s t i c so fr e l e v a n c ef e e d b a c ki n f o r m a t i o ni nc
9、 o n t e n t - b a s e di m a g er e t r i e v a la r ea n a l y z e d ，b a s e do nw h i c han o v e lr e l e v a n c ef e e d b a c kl e a r n i n gm e t h o d ，n a m e l y ,T S C S V Mi sp r o p o s e d T h em e t h o dt r e a t st h ep o s i t i v ea n dn e g a t i v ee x a m p l e sr e t u r n
10、e da td i f f e r e n tr o u n d sw i t hd i f f e r e n tw e i g h t si nt h el e a r n i n gp r o c e s sa c c o r d i n gt ot h es p a t i a la n dt e m p o r a lc h a r a c t e r i s t i c so f t h er e l e v a n c ef e e d b a c ki n f o r m a t i o n W i t lt h e s ef e a t u r e s t h ep r o
11、p o s e dT S C - S V Mm e t h o di m p r o v e st h ep e r f o r m a n c eo f t h el e a r n i n gs i g n i f i c a n t l yf e s p e c i a l l yf o rac o m p l i c a t e di m a g ed a t a b a s e ) a sc o m p a r e dw i t ht h ec o n v e n t i o n a lS V Mm e t h o d M o r e o v e r , t h ep r o p o
12、 s e dm e t h o dC a l lc a p t u r et h eq u e r yc o n c e p tm o r eq u i c k l ya n da c c u r a t e l ya sc o m p a r e dt ot h ec o n v e n t i o n a lS V Mm e t h o d ，a n di se s p e c i a l l ye f f e c t i v ew h e naq u e r yc o n c e p ts h i f tO C C L f f Sd u r i n gt h eq u e r y An
13、o v e li n d e xm e t h o d ，c r o s s - r e f e r e n c ei n d e x ，i sp r o p o s e dt od e s c r i b et h es e m a n t i c so fm u l t i m e d i ao b j e c t s T h em e t h o dd e s c r i b e sam u l t i m e d i ao b j e c tt h r o u g hs e m a n t i c a l l yr e l e v a n tm u l t i m e d i ao b
14、 j e c t s Ac o o p e r a t i v em e c h a n i s mi sp r o p o s e dt h r o u 曲w h i c ht h ec r o s s r e l e v a n c ei n d i c e sa n dl o w 1 e v e lf e a t u r e sa r ei n t e g r a t e dt of a c i l i t a t et h em u l t i m o d a l d a t ar e t r i e v a la n dr e l e v a n e e & 穗b a c k ，I
15、na d d i f i o n 。au n i q u er e l e v a n c ef e e d b a c kt e c h n i q u ei sd e v e l o p e dt ou p d a t ec r o s s r e f e r e n c ei n d i c e sb yl e a r n i n gf r o mu s e r s b e h a v i o r sa n dt oe n h a n c eb o t ht h el o n g - t e r ma n ds h o r t - t e rnr e t r i e v a lp e r
16、 f o r m a n c ei nap r o g r e s s i v em a n n e r Am u l t i c h a n n e l ( c o r r e s p o n d i n gt om u l t i p l em o d a l ，e g t e x gi m a g e ，v i d e o ，e t c ) r e t r i e v a ls y s t e mo fm u l t i m e d i ad o c u m e n t si sp r o p o s e da n di m p l e m e n t e d An o v e lf r a m e w o r km o d e li sp r o p o s e dt od e s c r i b et h ec o n t e n t so fm u l t i m e d i ad o c u m e n t s 。I nt h ef r a m e w o r k ，b o t ht h ec
