《软件工程毕业论文比赛信息集成系统后台网络爬虫与信息处理》由会员分享，可在线阅读，更多相关《软件工程毕业论文比赛信息集成系统后台网络爬虫与信息处理（48页珍藏版）》请在金锄头文库上搜索。
1、 . . . . . . . 比赛信息集成系统比赛信息集成系统后台网络爬虫与信息处理后台网络爬虫与信息处理 摘要摘要 针对当前网络中对于比赛信息整合的缺乏，人们难以方便地寻找到当前某 一阶段所举办的全部比赛信息的现状。为此，全力打造一个服务于在校学生和 在职人员等轻松、便捷、互动地参与各类竞赛活动的竞赛门户迫在眉睫。因此， 该系统致力于系统地收集和整理各个领域的各类赛事，为参赛者提供最优质的 信息服务,使得来自全国各地的参赛选手可以相互学习可以分享心得,并且通过 各种有意义的比赛不断提升自己。 为了提供最全面的大学生赛事信息，比赛信息平台通过设计赛事的爬虫系 统，整合所有的赛事信息，并经过筛选
2、后呈现在用户面前。系统主要功能模块 包括前台的实现，网络爬虫的制作，论坛的开发，后台开发与管理以及会员空 间的开发与实现。系统使用了 heritrix、htmlparser 和 java 相结合的技术开 发。后台使用 heritrix 和 htmlparser 技术实现比赛信息的抓取和筛选等工作， 同时使用 java 技术录入信息，并管理前台的会员信息、论坛信息及赛事信息等， 前台运用 java 技术 js 特效等实现赛事呈现、论坛运行、会员赛事发布等功能。 论文首先叙述了系统的开发背景和研究容，接着简单介绍了系统的开发平 台及相关技术，然后对系统做了一个整体的系统规划和交互数据的设计，最后
3、对网络爬虫模块和后台信息筛选调度模块的设计与具体实现做了重点阐述。 关键词关键词：网络爬虫技术；页面解析技术；数据流技术；js 特效。 . . . . . . . AbstractAbstract In view of the current network for lack of competition information integration, it is difficult to conveniently find current situation of one stage held by all the game information. Therefore, to build
4、 a service to students and staff, easy, convenient, interactive participation in various competitions contest portal imminent, therefore, this system aims to systematically collect and collate all areas of various events, to provide the best quality information service for the participants from all
5、over the country, the contestants you can learn from each other to share experiences, and through various meaningful games continue to improve their own. In order to provide students the most comprehensive event information, competition information platform through the design event crawler system, i
6、ntegrating all the event information, and after screening appear in front of users. The main function modules of the system including the realization of the website, making web crawler, the forums development, the development and implementation of the development and management as well as members of
7、 space. System development using heritrix, Htmlparser and Java combination. Grab and screening, the background using heritrix and Htmlparser technology to realize the game information, Java technology is used to input information, and manage the membership information, forum information and event in
8、formation, front using Java technology JS effects such as realization of the event show, running, Members Forum event dissemination functions. This paper first describes the development background of the system and the content of the research, and then introduces the system development platform and
9、related technologies, and then designed a whole system planning and interactive data on the system, the design of network crawler module and background information screening himself responsible for the scheduling module and implementation to make the key exposition. . . . . . . . KeywordsKeywords: W
10、eb crawler technology; page analysis technology; data stream; JS effects. . . . . . . . 目录目录 第 1 章 引言.1 1.1 系统开发的背景 .1 1.2 系统开发的目标、意义 .1 1.3 本文的组织 .2 第 2 章 相关技术简介.4 2.1 系统开发平台及开发工具 .4 2.2 工具和编程语言 .4 2.2.1 HERITRIX技术.5 2.2.2 HTMLPARSER技术 .6 2.2.3 JAVA语言 .6 2.2.4 JAVA IO流技术.7 2.2.5 JDBC 技术 .8 第 3 章 系统分析与设计.9 3.1 功能需求 .9 3.1.1 系统数据流图.9 3.1.2 系统状态图.11 3.2 功能介绍 .12 3.3 概念结构 .13 3.3.1 概念结构设计.13 3.3.2 逻辑结构设计.14 第 4 章 模块实现.17 4.1 爬虫模块 .17 4.1.1 设计事项.17 4.1.2 操作界面.17 4.1.3 核心代码.23 4.2 页面解析文本信息入库模块（HTMLPARSER） .29 . . . . . . . 4.2.1 设计思想 .29 4.2.2 操作界面 .29 4.2.3 核心代码.31 4.3 信息筛选上传、信息查看删除的模块 .
