《毕业设计（论文）-大规模网页模块识别与信息提取系统设计与实现》由会员分享，可在线阅读，更多相关《毕业设计（论文）-大规模网页模块识别与信息提取系统设计与实现（42页珍藏版）》请在金锄头文库上搜索。
1、本 科 生 毕 业 论 文题目： (中文)大规模网页模块识别与信息提取系统设计与实现(英文 )Design and Implementation of Large Scale Web Template Detection and Information Extraction System姓名： 学号： 院系： 专业： 指导教师： 00448174 朱磊 本科毕业论文摘要本文提出了一套基于语义的网页分块和主题内容信息提取算法，在天网搜索 引擎预处理模块中将其实现，并且在 SEWM 2008 会议中，以这套算法为框架， 组织了主题型网页识别和网页主题内容信息块提取两个中文 Web 信息检索评测 项
2、目。在这套算法的基础上，基于天网文件系统与 Map-Reduce 计算平台，实现 了分布式的网页块级别 QuarkRank 算法，改进了 PageRank 算法的效果。实际检 验表明，该套算法具有很好的适应性与可扩展性，并达到了很高的精度和召回率。关键词：网页分块 信息提取 评测 Map-Reduce PageRankiiAbstractThis paper presents a semantic web-page blocking and information extraction of thematic content algorithm, which is achieved in th
3、e pretreatment module of TianWang search engine, and in SEWM 2008 meeting, using this algorithm, we organized two Chinese Web Information Retrieval Evaluation Projects, which are theme-based Web page identification and block extraction of the information theme content. In this method, based on TianW
4、ang file system and the Map-Reduce computing platform, this paper reports the distributed block-level QuarkRank algorithm, which improves the result of PageRank algorithm. The actual test showed that this algorithm is good at adaptability and scalability, and reaches a very high precision and recall
5、.Keywords:Web-Page Blocking, Information Extraction, Evaluation, Map-Reduce, PageRank目录第 1 章序言3第 2 章相关研究工作52.1基于语义的网页信息提取算法52.2基于视觉的网页分块算法62.3 Block Level PageRank 算法82.3.1 Block Level Web Graph82.3.2 Page Graph92.3.3 Block Graph92.3.4 Block Level PageRank10第 3 章天网搜索引擎 Quark 模块113.1网页分块算法133.2网页主题内容
6、提取163.3算法效果演示18第 4 章SEWM2008 中文 Web 信息检索评测234.1评测任务介绍234.1.1 主题型网页发现任务234.1.2 网页内容信息发现任务244.2评测格式254.3评测结果254.3.1 主题型网页发现任务评测结果264.3.2 网页内容信息发现任务评测结果284.4评测综述31第 5 章网页分块的分布式应用325.1QuarkRank325.2其他应用34第 6 章总结与展望356.1总结356.2展望35参考文献37致谢38第 1 章序言信息时代，非 Web 无以制胜。互联网的高速发展，改变了我们的生活方式， 打破了我们的时空界限，重塑着我们的社会形
7、态。经济、政治、学习、工作、生 活、娱乐等等各个层面都在 Web 网络中激荡起伏，深刻地影响着人类的未来。 而 Web 网络的灵魂，就是流动在其中的无穷无尽的信息。Web2.0 的意义就在于 网络内容的提供方从商人和专业人员转变为网络上的每一个普通用户，从而几何 级数地增长了 Web 的信息量。然而信息量的增大，随着而来的就是存储成本的 增大和信息提取难度的增大，如何有效的获取和整合 Web 信息成为大家面对的 共同课题。传统意义上，整个 Web 网络就是由无数的 Web 页面而构成，它们是网络信 息存储和提取的基本单位，获取了这些 Web 页面就相当于获取了 Web 信息内容。 但是把整个页
8、面作为最基本的信息处理单位有一些不合理之处。首先是因为 Web 页面中信息量的分布非常不均匀，有主题内容，也有广告，导航栏，版权信息， 装饰信息，以及在大量网页中重复出现的部分，它们自身的信息含量千差万别。 当网页浏览者刚打开一个新页面的时候，如果之前没有浏览过类似页面，就会目 不暇接，眼花缭乱，有无所适从的感觉，必须仔细探寻一番才能定位到这个页面 的要害；如果之前浏览过类似页面，比如常上这个网站，那么通常浏览者就已经 训练出一种直觉或者说是条件反射，他会立刻定位到他所想要浏览的部分，从而 忽略掉页面中的其他部分。其次还因为现在很多 Web 页面是动态更新的，比如博客页面或者论坛讨论 帖，它们
9、的更新是以一个一个网页块的形式进行的，更新时页面上大部分内容并 没有变化，如果仍然以整个页面为处理单位，则不可避免地存在效率损失和定义 的混淆。这些情况促使我们反思以整个页面为基本信息单元的做法不仅不尽合 理，一定程度上甚至已经损害了网络浏览者的用户体验，妨碍了网络信息提取的 效率。解决这个问题的办法其实有两种思路。第一种就是从信息的产生方那儿就不 再提供网页式的信息，而改为直接提供网页块或者文字段式的信息。最常见的例 子就是 RSS（聚合内容，Really Simple Syndication），博客或者新闻的提供方省 去了浏览者访问网站查看更新的麻烦，直接将精简后的网页块或者文字段发送给
10、RSS 的订阅方。第二种则更为普适，就是细分网页中的信息单元，也就是给网页 分块，在网页分块的基础上存储和提取 Web 页面的语义信息。19基于网页分块的 Web 页面的语义信息提取在很多方面都有应用。比如，在 常规搜索引擎中，可以以网页分块为基础去除网页中的噪音信息，识别出网页中 的主题内容信息块，从而用提取出的主题内容信息来构建对这个页面的描述，完 成网页分类、网页消重等应用。还可以凭此改进搜索引擎的索引模块和检索模块 的效率，比如改进 TF/IDF 和 PageRank 的算法（详见第五章）。Web 页面的语义分块另外一个重要用途在于移动终端访问互联网，比如手机 和 IPod 等。因为目
11、前大部分的 Web 页面都是针对 PC 机设计的，要求有相对较 大的屏幕。而移动设备通常屏幕较小，计算能力有限，无法直接访问这些页面。 为了解决这个问题，要么是内容提供商手工编辑专门适用于移动设备的页面，要 么就只有对页面进行语义分割，并在分割后的页面中选择信息量最高的语义块。除此之外，Web 页面的语义分块还可能对常规搜索引擎之外的其他信息检索 系统有帮助。比如类似于新闻人物追踪和历史新闻检索等应用，出于节约存储空 间，提高检索精度，方便更新等目的，可以直接存储和操作网页中的主题内容语 义块，而舍弃网页中其他与系统需求无关的语义块。在这篇论文中，第二章介绍了本文的相关研究工作，包括常见的网页
12、分块和 信息提取算法、基于视觉的网页分块算法，以及网页分块的一个应用 Block Level PageRank 算法；第三章介绍了我实现的网页分块和主题信息提取算法Quark 算法；第四章介绍了 Quark 算法在 SEWM2008 中文 Web 信息检索评测项目中的 实际检验；第五章介绍了在 Quark 算法基础上实现的一个分布式 QuarkRank 程 序。第六章是对本文的总结和工作展望。第 2 章相关研究工作2.1基于语义的网页信息提取算法由于对 Web 页面有效分块之后可以极大地方便内容提取、数据挖掘、Web 结构分析等各项 Web 信息检索领域的相关工作，所以早有很多研究人员前赴后
13、继，就此展开了很多工作。其中，基于语义信息对网页分块是最简便，也最基础 的一种方法。所谓语义信息，通常包括网页中包含的 HTML 标签信息，HTML DOM 树的结构信息，文字内容信息，超链接信息，以及其他通过统计或学习而 得到的全局信息等等，也可以理解成为除了网页中的视觉信息之外的所有可以得 到的信息。通常基于语义的网页分块算法是和后续的网页主题内容提取结合在一起的， 也就是在网页分块的过程中，同时完成了主题内容提取的工作，并且主要的注意 点是在主题内容提取上，因此分块算法就比较简单，甚至不显式地分块，在此我 们统称它们为网页信息提取算法。总的来说，网页信息提取算法可以分为两类， 一类属于网
14、站级别（Site-Level），一类属于网页级别（Page-Level），当然也有将 两类方法结合使用的算法。Site-Level 的算法顾名思义，就是分析一个网站或者网页集内部的所有网页， 从中提取反复出现的模式，而一般来说，在多个网页里重复出现的模式（可理解 为 Dom-Tree 子树）就是导航栏、广告等噪音信息了，单个网页中减去这些信息， 剩下的就是主题信息内容。关于 Site-Level 的研究一直在继续，WWW2008 上就 有一篇名为 Web page sectioning using regex-based template1的论文使用正则表 达式来提取重复模式，从而更适应网页间
15、的细微变化，增加了 Site-Level 的召回 率。Page-Level 的算法在处理大型网站的网页时效率常常不如 Site-Level，但优 势在于灵活，不受网页类型限制。它只利用单个页面内部的信息，当然也可能会 用到一些全局信息。宾夕法尼亚州立大学 2005 年的论文2就是其中的典型。这 篇论文提出简化块与块之间的层次结构，直接提取一些原子块（Atomic Block）， 诸如以 list, table, link, object, frame, form 等为根节点的 html 子树，来完成分块工 作。这一方法虽然简单而易于实现，但依赖于事先给出的原子块列表，同时忽略 了原子块之间的嵌套链接问题。在分块之后，它也只是简单计算了文字长度等几 个变量来决定主题信息块。合并 Site-Level 和 Page-Level 的方法也一直有人尝试。WWW2007 的论文 Page-level template detection via isotonic smoothing3先利用一个 Site-Level 噪音 模板提
