《新闻爬虫系统的设计与实现本科毕业设计论文》由会员分享，可在线阅读，更多相关《新闻爬虫系统的设计与实现本科毕业设计论文（75页珍藏版）》请在金锄头文库上搜索。
1、山东科技大学本科毕业设计（论文）I摘要随着网络在世界范围的飞速发展，互联网作为最具潜力与活力的媒体已经被公认是继报纸，广播，电视之后的“第四媒体” ，成为反映社会新闻热点的重要载体。为了及时了解网络新闻热点，相关机构引入了新闻热点分析系统。本文设计的新闻爬虫系统是新闻热点分析系统的数据源，负责新闻信息的采集。本文借助于爬虫领域的相关技术与工具，结合新闻热点分析系统的需求从原理或工作流程上详细论述了爬虫系统中核心模块的具体实现。本文所描述的新闻爬虫系统其数据来源主要是新浪新闻，首先利用爬虫工具将新闻数据获取到本地数据库中，然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出。本文主要进行
2、了以下几个方面的工作： 1）利用 Java 语言结合 HTTPClient 开源工具编写了一个针对新浪新闻的可扩展的网络爬虫，该爬虫程序能够按照广度优先的爬行策略对新闻数据（包括图片信息）进行全面的定向抓取以及周期性的增量抓取；2）采用 HTMLParser 对获取到的新闻信息进行元数据抽取，将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数据解析出来并存入 SQL Server 数据库中；3）前端界面利用开源 AJAX 框架 ExtJS 结合 Servlet 进行实现，兼顾用户交互方式的多样性以及系统的跨浏览器兼容性。通过使用该新闻爬取系统，用户能够实时的更新新闻信息，及时
3、、全面、准确地掌握新闻热点动态，提高对于重大突发事件的处理能力，对于更及时，全面的了解各地的实时信息具有重要意义。山东科技大学本科毕业设计（论文）II关键词：新闻热点，网络爬虫，元数据抽取，可视化山东科技大学本科毕业设计（论文）IIIABSTRACTWith the rapid development of World Wide Web(WWW),it is widelyaccepted that the internet,called the Fourth Media,will be the most potentialand energetic media after newspaper,
4、radio and television as an important carrier of the hot society news.In order to know the internet hot news in time,the related organizations introduced the hot news and analysis system. The news spider system is in the information collection layer and is the fundamental part of hot news analysis sy
5、stem.It is responsible for the information collection .In the help of related technologies and tools and with the needs of the system itself ,the paper discuss the concrete realization of the code module in detail .The data of the news spider system comes from news of sina . First using web crawler
6、to get data from news to local database , finally visualize the public opinion information on the front page. This article mainly has carried on the following several aspects work: 1) Using Java and HTTPClient developed a scalable web crawler which focus on DISCUZ BBS. Besides, this crawler can cond
7、uct a comprehensive orientation of fetching and periodic increment of fetching from BBS data (including the BBS post information and all its replies) under breadth-first strategy. 2）Using HTMLParser to extract meta-data from the BBS information, parsed and stored the meta-data, such as number, title
8、, content, poster, posting time and the corresponding reply in a SQL Server database.3） front-end interface combined with the use of open source AJAX framework ExtJS Servlet be achieved, taking into account the diversity of user 山东科技大学本科毕业设计（论文）IVinteraction and system cross-browser compatibility.By
9、 using this news crawling system, users can real-time news and information updated, timely, comprehensive and accurate grasp of hot news developments, improve the handling capacity of major emergencies, for more timely and comprehensive understanding of an important real-time information across sign
10、ificance.Key Words: Hot news，Web crawler，Metadata extraction，Visualization山东科技大学本科毕业设计（论文）V目录1 绪论 .11.1 开发背景及目的 .11.2 国内外相关研究现状 .31.3 论文主要内容和章节安排 .42 系统开发知识准备 .62.2 J2EE 技术简介 .72.3 SQL Server 2005 简介 .82.4 ExtJS 简介 .102.5 开源工具简介 .122.5 本章小结 .133 系统需求分析 .143.1 系统可行性研究 .143.2 用户对象分析 .153.3 用户用例分析 .163.4 功能需求分析 .203.5 性能需求分析 .213.6 本章小结 .214 系统总体设计 .234.1 数据库结构设计 .234.2 系统功能模块设计 .254.3 本章小结 .
