《互联网搜索searchingtheweb1基本原理ppt培训课件》由会员分享，可在线阅读，更多相关《互联网搜索searchingtheweb1基本原理ppt培训课件（57页珍藏版）》请在金锄头文库上搜索。
1、1,10.互联网搜索Searching the Web 基本原理Basic Principles,2,中国互联网络信息中心第24次互联网报告（2009/7 ）,截至2009年6月底，我国网民数量达到了3.38亿，上网普及率达到25.5% ，网民规模居世界第一位 目前中国网站数量已达306.1万个 目前中国的国际出口带宽已经有747,541Mbps,3,CNNIC第23次互联网报告（2008/12 ）,中国网页数超过160亿个，年增长率90%,4,CNNIC第24次互联网报告：经常使用的网络应用(2009/7),5,CNNIC第24次互联网报告：搜索引擎使用统计(2009/7),6,CNNIC第
2、16次互联网报告：用户得知新网站的主要途径,搜索引擎： 84.5% 其他网站上的链接： 61.6% 他人推荐介绍： 57.0% 报刊杂志： 21.9% 电子邮件： 21.0% 网址大全之类的书籍： 14.4% 广播电视： 8.7% 户外广告： 7.0% 黄页： 2.7% 其他： 0.6%,7,Web上的搜索,文档集:公开的可接触到的Web: 静态的+动态的 目标: 获取高质量的与用户需求相关的结果 而非普通意义上的文档 需求: Informational 想学东西 (40%) 例如：Ajax技术 Navigational 想去某个网站 (25%) 例如：中国知识产权局 主页 Transacti
3、onal 想做某件事情 (通过web) (35%) 例如：赴美签证 表格 下载 获取某项服务 下载 电子购物 其他需求 找到一个好的目录式站点 探索式的搜索，看看有什么新鲜事,8,搜索结果,静态页面 (文档) 文本，mp3，图像，视频，. 哪些页面是搜不到的？ 数据库查询结果“the invisible web”-比如图书动态查询界面将对应每一次查询生成一张页面，搜索引擎一般不会索引这样的页面 私有网页内容-网站主不愿将一些私有内容被抓取，于是在网页中做特定标记，这样网络蜘蛛就不会抓取这类网页,9,一些术语Terminology,http:/www.cism.it/cism/hotels_20
4、01.htm,Host name,Page name,Access method,URL = Universal Resource Locator,10,数据规模,无穷无尽的内容 目前中国网页数超过160亿个，年增长率达到90%，网上信息资源的增长速度非常迅猛。 (摘自2009.1第23次中国互联网络发展状况统计报告) 各种各样的人都可以是网站作者,http:/ server 数量变化,11,网站多样性,语言/编码 几百种语言, W3C encodings: 55 (Jul01) W3C01 主页语言 (1997): English 82%, Next 15: 13% Babe97 Googl
5、e搜得的结果 (mid 2001): English: 53%, JGCFSKRIP: 30% web文档和查询的主题 Popular Query Topics (from 1 million Google queries, Apr 2000),12,网页变化的频率Rate of change,Cho00 720K pages from 270 popular sites sampled daily from Feb 17 Jun 14, 1999,13,给定平均时间网页改变的部分,14,Web 特性,作者分布于世界各地 无数的人用自己的方式、语法、词语、观点（甚至是错误的观点）来产生页面。
6、并不是所有人都单纯地产生高质量的信息，商业动机导致了垃圾网页，而且数量相当巨大。 商业驱动导致网站内容真实性受到置疑。,15,其他的一些特性,大量重复网页 语法上看 - 30%-40% (near) duplicates 语义上看 - ? 链接度很高 8 links/page in the average 复杂的拓扑图 Not a small world; bow-tie structure Brod00 small world六度分离理论(Six Degrees of Separation):“你和任何一个陌生人之间所间隔的人不会超过六个,也就是说,最多通过六个人你就能够认识任何一个陌生人。
7、”,16,Web 搜索用户的一些特性,查询 查询较短 2001年有人统计过: 查询平均2.54, 80% 0 即可,显然,对所有i都有, 马尔可夫链是随机游走的一种数学抽象,50,遍历的马氏链 Ergodic Markov chains,对于遍历的(平稳随机过程中集合的平均值可以由样本的时间平均值来代替) 马尔科夫链，每个状态存在唯一的长期访问率 访问率的长期稳态分布经历较长时间后，访问每个状态的概率正比于访问率 平稳随机过程并不关心从什么状态开始,51,概率向量,概率行向量 x = (x1, xn) 表明在任何时间点随机游走在什么状态上 E.g., (0001000) 表示在状态 i,i,n,1,更一般化的讲, 向量 x = (x1, xn) 表明游走在状态 i上概率为 xi,52,概率向量的改变,如果在这一步的概率向量是 x = (x1, xn) , 下一步应该是什么? 第i行的转移概率矩阵P告诉我们从第i个状态会转移到哪个状态 因此从状态x, 我们的下一个状态分布为 xP,
