《搜索引擎与信息检索教程教学课件袁津生 &部分源代码 ch06》由会员分享，可在线阅读，更多相关《搜索引擎与信息检索教程教学课件袁津生 &部分源代码 ch06（23页珍藏版）》请在金锄头文库上搜索。
1、第6章 信息检索评价,袁津生 赵传刚 编著 中国水利水电出版社,主要内容,6.1 相关性 6.2 信息检索性能评价 6.3 信息检索领域的相关组织和会议,6.1 相关性,相关性的特征,相关性是指检索系统针对用户的信息需求从文档集合中检出的文档与用户需求之间的一种匹配关系。 相关性具有以下本质特征： （l）关系（relation） （2）直觉的（intuitive） （3）多维的（multidimensional） （4）动态的（dynamical）,相关性研究类别,（1）基础（Foundations） （2）类型（Kinds） （3）匹配替代物（Surrogates） （4）准则或标准（Cri
2、teria） （5）动态性（Dynamics） （6）表达方式（Expression） （7）主观性（Subjectiveness）,相关性模型,1信息源 信息源可以表示为一个集合，其中包含了三个元素，分别代表用户查询对象的三个不同层次： （1）文档，指检索系统用户能够检索出的结果实体。 （2）文档的代表或替身，指文档的某种视图表示，可能包含以下一些结构化信息属性，例如题名、关键词集合、作者姓名、书目数据、摘要等。 （3）信息，即用户在阅读已经被检出的文档时，所获得的某些非实体性的东西。,相关性模型,2用户信息需求 用户的信息需求表现为四个不同层次： （1）真实的信息需求 （2）感知到的信息需
3、求 （3）检索请求 （4）查询提问 用户信息需求可以用集合形式来表示，具体表示如下： Repr=RIN，PIN，Request，Query,二维平面的相关性,相关性模型,3时间 引入时间维度适宜于相关性的动态特性表达。 时间维度是指从用户的RIN产生到它被满足期间的一些时间片段（或点）的集合，具体表示为： Time=t(rin0），t(pin0)，t(r0)，t(q0)，t(ql)，t(r1)， T(q2)，t(pink)，t(rm)，t(qn) t（x）表示某一需求状态x存在时的时间点。,相关性模型,4组件 组件包含进行相关性匹配的一些标准或准则，目前，其基本成分可以划分为： （1）主题（T
4、opic），指用户感兴趣的主题领域。 （2）任务（Task，主要指用户执行文档检索时的一些背景或行为，例如撰写综述、准备讲座等等。 （3）情境或语境（Context），凡不能包括在Topic和Task中的，影响查询方式和结果评价的其他所有因素。,6.2 信息检索性能评价,检索性能评价,为了使多个信息检索系统的性能相互间可以比较，或者判断一个检索系统有了多大程度的性能改善，就需要有能够客观地评价检索系统的评价度量。这种评价称为检索性能评价（retrieval performance evaluation）。 信息检索系统的有效性主要有三个评价指标： （1）相关性（relevance）：评价是否检
5、索出了在客观上与查询请求相关的文档； （2）确切性（pertinence）：评价检索出的文档是否与用户的检索目的相符； （3）有用性（usefulness）：评价检索出的文档是否对用户有用。,评价指标,为了客观、定量地评价信息检索系统的有效性，一般只使用相关性这一评价指标。 基于相关性的信息检索系统的评价，一般有以下两个原则： （1）完全性：是否无遗漏地检索出与查询请求相关的文档； （2）准确性：是否只检索出与查询请求相关的文档。,相关性判断,所谓“相关性判断”，是指信息检索中判断者在某一时刻对某种相关性的一种赋值操作。这一定义包含了相关性判断的四个基本组成要素，即： （1）相关性类型，指基于
6、何种相关性进行判断。 （2）判断者类型，指实施判断的主体，通常分为用户与非用户两大类。 （3）判断时间，显然，不同的时间点，相关性判断的结果可能是不同的。 （4）判断结果的表达方式，指对相关性的赋值方法。,查全率和查准率,在度量标准中，最常用的就是查全率和查准率。 下表给出查全率与查准率度量方法的文档集合。,查全率,查全率（Recall Ratio，简称R）是衡量系统在实施某一检索作业时检出相关文献能力的一种测度指标，是对检索遗漏程度的度量。 其计算方法为： 查全率=检出的相关文献量/检索系统中的相关文献总量 R = A/（A+B）,查准率,查准率（Precision Ratio，简称P）是衡
7、量系统在实施某一检索作业时检索精度的一个测度指标，是对检索噪音程度的度量。 其计算方法为： 查准率=检出的相关文献量/检出的文献总量 P = A/（A+C）,非相关检出率,非相关检出率（Fallout，简称F），主要用来衡量检索系统对不相关文献的检出比率。 其计算方法为： 非相关检出率=检出的不相关文献检索系统中的不相关文献总量 F = C/（C+D）,囊括值,囊括值（Generality，简称G）用来表示与某一检索提问相关的文献在系统文献集合中的分布密度 其计算方法为： 囊括值=检索系统中的相关文献总量检索系统中的文献总量 G =（A+B）（A+B+C+D）,Ranking指标,Rankin
8、g指标用来表明检索返回的文档是否排在前面，以及排在前面的紧密程度如何。 平均排序值 设某个查询请求为g，r1，rm为系统检索出的正确结果，ranking(ri）为查询q的第j个正确结果的排序位置，则平均排序值计算如下：,Ranking指标,平均排序紧密度 为了反映与查询q相关的文档在检索结果中排在靠前位置的紧密程度，可以用下式计算： 如果相关文档全部排在最前面，那么该值为1。,6.3 信息检索领域的相关组织和会议,信息检索领域的相关会议,ACM SIGIR （Special Interest Group on Information Retrieval），起始于1978年，是信息检索领域最著名的年度学术会议，学术论文可以代表本领域的最高学术水平。 始于1994年的WWW Conference由国际W3C联盟组织举办，是Web领域最重要的学术会议。会议涉及到包括Web信息挖掘、搜索、语义Web在内的与Web相关的内容。 TREC是由美国国家标准与技术研究所（National Institute of Standards and Technology，NIST）和美国国防高级研究计划局（Defense Advanced Research Projects Agency，DARPA）赞助并组织的文本信息检索领域一个国际性重要会议。,
