《搜索引擎的设计与实现》由会员分享，可在线阅读，更多相关《搜索引擎的设计与实现（55页珍藏版）》请在金锄头文库上搜索。
1、web搜索引擎的设计与实现摘 要随着网络的迅猛发展。网络成为信息的极其重要的来源地，越来越多的人从网络上获取自己所需要的信息，这就使得像Google40，百度39这样的通用搜索引擎变成了人们寻找信息必不可少的工具。本文在深入研究了通用搜索引擎基本原理、架构设计和核心技术的基础上，结合小型搜索引擎的需求，参照了天网，lucene等搜索引擎的原理，构建了一个运行稳定，性能良好而且可扩充的小型搜索引擎系统，本文不仅仅完成了对整个系统的设计，并且完成了所有的编码工作。本文论述了搜索引擎的开发背景以及搜索引擎的历史和发展趋势，分析了小型搜索引擎的需求，对系统开发中的一些问题，都给出了解决方案， 并对方案
2、进行详细设计，编码实现。论文的主要工作及创新如下：1.在深刻理解网络爬虫的工作原理的基础上，使用数据库的来实现爬虫部分。2.在深刻理解了中文切词原理的基础之上，对lucene的切词算法上做出了改进的基础上设计了自己的算法，对改进后的算法实现，并进行了准确率和效率的测试，证明在效率上确实提高。3.在理解了排序索引部分的原理之后，设计了实现索引排序部分结构，完成了详细流程图和编码实现，对完成的代码进行测试。4.在完成搜索部分设计后，觉得效率上还不能够达到系统的要求，于是为了提高系统的搜索效率，采用了缓存搜索页面和对搜索频率较高词语结果缓存的两级缓存原则来提高系统搜索效率。关键词：搜索引擎，网络爬虫
3、，中文切词，排序索引ABSTRACT With the rapidly developing of the network. Network became a vital information source, more and more people are obtaining the information that they need from the network,this making web search engine has become essential tool to people when they want to find some information from
4、internet. In this paper, with in-depth study of the basic principles of general search engines, the design and core technology architecture, combining with the needs of small search engine and in the light of the tianwang, lucene search engine, I build a stable, good performance and can be expanded
5、small-scale search engine system, this article not only completed the design of the entire system, but also basically completed all the coding work.This article describle not only the background of search engines, but also the history of search engine developing and developing trends,and analyse the
6、 needs of small search engines and giving solutionsthe to the problems which was found in the development of the system ,and making a detailed program design, coding to achieve. The main thesis of the article and innovation are as follows:1.with the deep understanding of the working principle of the
7、 network spider.I acheived network spider with using database system.2.with the deep understanding of Chinese segmentation and segmentation algorithm of lucene system,I made my own segmentation algorithm,and give a lot of tests to my segmentation algorithm to provide that my segmentation algorithm i
8、s better.3.with the deep understanding of sorted and index algorithm,I designed my own sorted and index algorithm with the data-struct I designed and coding it ,it was provided available after lots of tests.4.after design of search part,I foud the efficiency of the part is not very poor,so I designe
9、d two-stage cache device to impove the efficiency of the system.Key words: search engine,net spider, Chinese segmentation,sorted and index目录第一章 绪论11.1搜索引擎出现的背景及意义11.2搜索引擎的发展历史及趋势11.3本文主要工作31.4论文结构4第二章 系统结构52.1概述52.2系统结构52.2.1爬虫62.2.2信息处理62.2.3排序和索引62.2.4搜索62.3搜索引擎主要指标及分析62.4开发语言72.5小结8第三章 爬虫93.1概述93
10、.2爬虫结构分析93.2.1爬虫初始化103.2.2从网页中提取url113.2.3 URL存储123.2.4从数据库中提取url123.3小结13第四章 信息处理144.1概述144.2转换154.3切词184.3.1中文切词194.3.2中文切词测试254.3.3英文切词274.3.4数字切词284.3.5符号处理294.3.6词语存储304.4小结31第五章 排序索引335.1概述335.2统计相关url335.3排序345.4索引365.5小结37第六章 搜索386.1概述386.2实现搜索386.3性能优化416.4小结42第七章 总结与展望437.1总结437.3 展望44参考文献
11、47致 谢49Web搜索引擎的设计与实现绪论第一章 绪论1.1搜索引擎出现的背景及意义网络的出现以及发展对于世界发展的意义是极其重要的，它让地球村的理念变成的现实，信息的传输不再受到时间和空间的限制。随着网络技术和应用的不断发展，互联网已经成为了信息的重要来源地，人们越来越依靠网络来查找他们所需要的信息。我们所处的是一个信息爆炸的时代，Google的索引在1998年开始工作,当时他们收集了2600万个页面,2000年就突破了10亿,到10年后的2008年达到了1,000,000,000,000,Google的数据库变成了全球最庞大的索引之一8，数量之庞大让我们震惊。这么巨大的数字导致了一个问题
12、，Rich Data, Poor Information。我们就好像处在一个信息的迷宫，因此，如何有效快速的找到自己需要的信息成为了一个极其重要的问题。在没有搜索引擎的时代，用户希望寻找某方面的信息，就必须通过各种途径或者是网站之间的连接寻找，可以这样说，脱离的搜索引擎的网站，就像是信息海洋中的一个一个的孤岛，用户必将面临巨大的搜索成本，同时必须付出大量的时间和精力。搜索引擎的出现改变了上述的现象4，它通过程序的自动搜寻并建立索引，将这些信息孤岛联系起来，形成了一张巨大的信息网，并且运用分布式计算的巨大力量，能够让用户从海量数据中摒除垃圾信息，获取想要的知识。搜索引擎不仅仅是节省了用户的时间，
13、通过挖掉搜寻成本这座墙，它让许许多多的不可能成为可能。1.2搜索引擎的发展历史及趋势搜索经历了三代的更新和发展:8第一代搜索引擎出现于1994年。这类搜索引擎一般都索引少于1，000，000个网页，极少重新搜集网页并去刷新索引。而且其检索速度非常慢，一般都要等待10秒甚至更长的时间。第二代搜索出现在1996年。第二代搜索引擎系统大多采用分布式方案（多个微型计算机协同工作）来提高数据规模、响应速度和用户数量，它们一般都保持一个大约50,000,000网页的索引数据库，每天能够响应10,000,000次用户检索请求。第三代搜索引擎年代的划分和主要特性至今没有统一的认识，不过至少可以肯定的是：第三代
14、搜索引擎是对第二代搜索引擎在搜索技术上的改进，主要增加了互动性和个性化等高级的技术，为用户使用搜索引擎获取信息获得更好的体验。至于互动性的评价标准是什么，以及第三代搜索引擎到底比第二代搜索引擎增加了多少价值尤其是为企业利用搜索引擎开展网络营销增加了哪些价值，目前并没有非常令人信服的研究结论。这也就是目前所谓的第三代搜索引擎并没有表现出太多优势的原因之一。现在，网络上有很多著名的搜索引擎，百度，google，yahoo等等，百度从2005年诞生到现在成为全球最大的中文搜索引擎，可想而知，发展的速度的多么的快，人们对搜索引擎的的需求的多大，百度的日点击率我无法在找到确切的数字，但是我们可以计算一下
15、，截至2008年底，中国网民规模达到2.98亿人9，每个网民上网点击百度的次数应该不少于十次吧，像我们要在百度上找资料的网名点击率百次不止，所以百度的日点击率是多么惊人。搜索引擎经过几年的发展和摸索，越来越贴近人们的需求，搜索引擎的技术也得到了很大的发展。搜索引擎在将来的的发展趋势大概有以下几个方面：101.提高对用户输入的理解为了提高搜索引擎对用户检索提问的理解，就必须有一个好的检索提问语言，为了克服关键词检索和目录查询的缺点，现在已经出现了自然语言智能答询。用户可以输入简单的疑问句，比如“how can kill virus of computer?”。搜索引擎在对提问进行结构和内容的分析之后，或直接给出提问的答案，或引导用户从几个可选择的问题中进行再选择。自然语言的优势在于，一是使网络交流更加人性化，二是使查询变得更加方便、直接、有效。就以上面的例子来讲，如果用关键词查询，多半人会用“virus”这个词来检索，结果中必然会包括各类病毒的介绍、病毒是怎样产生的等等许多无效信息，而用“how can kill virus of computer?”，搜索引擎会
