《基于多线程的网络爬虫的设计与实现毕业论文 成都学院》由会员分享，可在线阅读，更多相关《基于多线程的网络爬虫的设计与实现毕业论文 成都学院（42页珍藏版）》请在金锄头文库上搜索。
1、 本本 科科 毕毕 业业 论论 文文题 目 基于多线程的网络爬虫的设计与实现成都学院学士学位论文（设计）毕业设计（论文）原创性声明和使用授权说明毕业设计（论文）原创性声明和使用授权说明原创性声明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日 期： 使用授权说明使用
2、授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 成都学院学士学位论文（设计）基于多线程的网络爬虫的设计与实现摘要：摘要：网络爬虫（Web Crawler） ，又叫网络蜘蛛（Web Spider） ，是搜索引擎的重要组成部分。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战
3、，作为搜索引擎不可或缺的一部分网络爬虫，一直是个热门的研究课题，它的效能，直接决定了搜索引擎的未来。本课题所研究的网络爬虫采用广度优先搜索算法，并基于 Java 语言进行网络编程。实现网络爬虫关键技术是对 URL 进行分析和去重。为使网络爬虫具备更高效的抓取能力，因而使用了多线程技术。同时为了避免无限制的等待，应该对网络爬虫连接网络及读取时间最大值进行设定。 本课题的目标是研究并实现一个实现简单的可在后台自动运行的爬虫程序。系统可以进行面向主题的抓取。从行为上来看，它更近似于主题网络爬虫。关键词：关键词：网络爬虫；广度优先；Java； 多线程；成都学院学士学位论文（设计）Design and
4、implementation of a web crawler based on multithreadingSpecialty: Software Engineering Student Number: Student: Supervisor: ABSTRACT：Web Crawler, also called Web Spider, is an important part of search engine. With the rapid development of Internet, the World Wide Web becomes the carrier of a large a
5、mount of information. And How to effectively extract and use this information to become a great challenge. The quality of a search engine is mostly depended on the quality of a Web Crawler that as an indispensable part of web crawler search engine. So Web Crawler is a hot research topic those years.
6、The project which was studied in this paper using the breadth-first search algorithm, and based on the Java language for network programming. Implementation of the key technology of web crawler is to analyze and to URL. In order to make the web crawler has more efficient grasping ability, so the use
7、 of multi-threading technology. At the same time in order to avoid waiting without limit, should be on the web crawler connecting network and read the time of maximum value. The goal of this project is to research and realize an implementation can be run automatically in the background simple crawle
8、r program. System can be a subject oriented grab. From the point of view, it is more similar to the topic web crawler.Key words: Web Crawler; Breadth-First Search; Java; Multi-Threading成都学院学士学位论文（设计）I目 录绪 论.11 概述.21.1 研究目的和意义.21.2 网络爬虫的历史.21.3 研究现状和发展趋势.32 网络爬虫相关技术.52.1 URL.52.2 HTTP 协议.52.2.1 HTTP 协议简介.52.2.2 HTTP 消息的结构.62.2.3 请求方法.72.2.4 HTTP 状态代码.82.3 Java 多线程.82.3.1 定义.82.3.2 优点.82.3.3 不足.82.3.4 Java 多线程编程.92.4 Java 网络编程.112.4.1 TCP/IP.
