《搜索引擎工作原理简介资料教程》由会员分享，可在线阅读，更多相关《搜索引擎工作原理简介资料教程（21页珍藏版）》请在金锄头文库上搜索。
1、第三节：搜索引擎工作原理简介,搜索引擎工作过程,搜索引擎的工作过程大体上可以分为三个阶段： 一：爬行和抓取-搜索引擎蜘蛛通过跟踪链接访问网页，获得页面HTML代码存入数据库。 二：预处理-索引程序对抓取来的页面数据进行文字提取，中文分词，索引等处理，以备排名程序调用。 三：排名-用户输入关键词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。,第一步：爬行和抓取,2、跟踪链接 整个互联网是由相互链接的网站及页面组成的，蜘蛛抓取页面的唯一途径是通过跟踪互联网上的链接进行。 爬行策略-1、深度优先；2、广度优先,爬行和抓取,3、吸引蜘蛛 问：为何要吸引蜘蛛？ 答：单从理论上来
2、说蜘蛛可以爬行和抓取互联网上所有页面，但是实际上不能，也不会这么做，在这种前提下，蜘蛛所要做的就是尽量抓取重要页面。 所以，我们SEO人员要想让自己的更多页面被收录，就要想方设法吸引蜘蛛来抓取。 被搜索引擎认为符合重要页面的几个因素： 1、网站和页面权重 2、页面更新度 3、导入链接 4、与首页点击距离,第一步：爬行和抓取,4、地址库 为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。 地址库中URL的来源： 1、人工录入的种子网站 2、蜘蛛抓取后从HTML中解析出新的链接URL，与地址库中的数据进行对比，如果是地址库中没有的网址，就存
3、入待访问地址库。 3、站长通过搜索引擎网站提交入口提交进来的网址。 蜘蛛会按照重要性从待访问地址库中提取URL，访问并抓取页面，然后把这个URL从待访问地址库中删除，放进已访问地址库中。 备注：搜索引擎所收录的大部分页面是蜘蛛自己根据跟踪链接得到的，搜索引擎更喜欢自己沿着链接发现新页面。,第一步：爬行和抓取,5、文件存储 搜索引擎蜘蛛抓取的数据存入原始页面数据库。其中的页面数据域用户浏览器得到的HTML是完全一样的，每个URL都有一个独特的文件编号。 6、爬行时的复制内容检测 通常删除复制内容是在预处理步骤中执行的，但是现在蜘蛛在爬行和抓取文件时，也会进行一定程度的复制内容检测，遇到权重很低的
4、网站上大量转载或抄袭内容时，很可能不再继续爬行。 实践情况：有的站长在自己网站日志中发现了蜘蛛，但是页面从来没有被真正的收录过的原因。,第二步：预处理,在一些SEO材料中，“预处理”也被简称为“索引”，因为索引是预处理最主要的步骤。 搜索引擎预处理工作内容： 1、提取文字,除去HTML代码后，剩下的用于排名的文字只是这一行： 新浪首页 备注：除了可见文字，搜索引擎也会提取出一些特殊的包含文字信息的代码，如：META标签中的文字，图片替代文字，Flash文件中的替代文字，链接锚文字等。,第二步：预处理,2、中文分词-分词是中文搜索引擎特有的步骤 分词意义：搜索引擎存储和处理页面及用户搜索都是以词
5、为基础的。 分词如：“减肥方法”将被分词为“减肥”和“方法”两个词 中文分词方法基本上有两种： 1、基于词典匹配-将待分析的一段汉字与一个事先造好的词典中的词条进行匹配，在待分析汉字串中扫描到词典中已有的词条则匹配成功，或者说切分出一个单词。 2、基于统计-指的是分析大量文字样本，计算出字与字相邻出现的统计概率，几个字相邻出现越多，就越可能形成一个单词。,第二步：预处理,3、去停止词 停止词-无论是英文还是中文，页面内容中都会出现频率很高，却对内容没有任何影响的词，如“的”、“地”、“得”之类的助词，“啊”、“哈”、“呀”之类的感叹词，“从而”、“以”、“却”之类的副词或介词，这些词被称为停止
6、词。 因为这些停止词对页面的主要意思没什么影响，所以搜索引擎索引页面之前会去掉停止词，使索引数据主题更为突出，减少无谓的计算量。,第二步：预处理,4、消除噪声 定义：除了停止词以外，对页面主题没有什么贡献的因素被称为页面噪声。 比如：博客页面的“文章分类”、“历史存档”等。 消噪的基本方法： 根据HTML标签对页面分块，区分出页头，导航，正文，页脚，关高等区域，在网站上大量重复出现的区块旺旺属于噪声。对页面进行消噪后，剩下的才是页面主题内容。,第二步：预处理,5、去重 搜索引擎在进行索引前还需要识别和删除重复内容，这个过程就称为“去重” 去重的意义-提升用户体验（搜索引擎不喜欢重复性内容） 去
7、重方法： “去重”的基本方法是对页面特征关键词计算指纹，也就是说从页面主题内容中选取最有代表性的一部分关键词（经常是出现频率最高的关键词），然后计算这些关键词的数字指纹。 百度2013年针对原创内容的判定和保护-“星火计划” 拓展阅读：,第二步：预处理,6、正向索引 正向索引也可以简称为索引 搜索引擎索引程序将页面及关键词形成词表结构存储进索引库。 简化的索引词表形式如下图：,第二步：预处理,7、倒排索引 正向索引还不能用于排名，最终用于排名的是倒排索引。所以搜索引擎会将正向索引数据库重新构造为倒排索引，把文件对应到关键词的映射转换为关键词的文件的映射，如下图：,第二步：预处理,8、链接关系计
8、算 链接关系计算也是预处理中很重要的一部分。 搜索引擎在抓取页面内容后，必须事前计算出： 页面上有哪些链接指向哪些其他页面 每个页面有哪些导入链接 链接使用了什么锚文字 这些复杂的链接指向关系形成了网站和页面的链接权重。,第二步：预处理,9、特殊文件处理 搜索引擎除了可以抓取HTML文件外，通常还能抓取和索引以文字为基础的多种文件类型，如：PDF、WORDS、WPS、PPT、TXT等文件。 目前搜索引擎还不能处理图片、视频、Flash这类非文字内容，也不能执行脚本和程序。,第三步：排名,一：搜索词处理 1、中文分词 2、去停止词 3、指令处理（搜索引擎的默认处理方式是在关键词之间使用“与”逻辑
9、） 如：用户搜索“减肥方法”，程序分词为“减肥”和“方法”两个词，搜索引擎排序时默认为，用户寻找的是既包含“减肥”，也包含“方法”的页面。 只包含“减肥”不包含“方法”的页面或者只包含“方法”不包含“减肥”的页面被认为是不符合搜索条件的。 实际上我们还是会看到只包含一部分关键词的搜索结果。,第三步：排名,二：文件匹配,第三步：排名,四：相关性计算 相关性计算是排名过程中最重要的一步，也是搜索引擎算法中最令SEO感兴趣的部分。 1、词频及密度 2、关键词位置及性质 3、关键词距离 4、链接页相关性分析,第三步：排名,五：排名过滤及调整 针对作弊的网站实施惩罚，对排名进行微调。 六：排名显示 确定排名后，排名程序调用原始页面的标题标签、说明标签、快照日期等数据显示在页面上。,
