Web缓存系统组网方式研究

《Web缓存系统组网方式研究》由会员分享，可在线阅读，更多相关《Web缓存系统组网方式研究（4页珍藏版）》请在金锄头文库上搜索。

1、Web缓存系统组网方式研究孙 程育中国移动通信集团江苏有限公司徐州分公司工程师 凯中国移动通信集团江苏有限公司徐州分公司工程师1 前言缓存系统工作原理与流程，中国互联网发展速度比较迅猛， 无论是网民数量还 是互联网服务种类，但从统计来看，Web 服务是最基本 的服务， 而且是网民使用次数最多的服务， 其绝对流量不 断增长， 忙时对电信运营商与 Web 网站运营者带来的带 宽压力很大， 导致用户反映访问网站速度较慢。采用 Web 缓存系统可以解决以上问题，Web 缓存系 统是部署在用户客户端与被访问 Web 服务器之间的存 储设备，用于保存 Web 资源副本，Web 缓存系统会根据 客户端发起的

2、请求保存输出内容的副本， 当再次访问这 个 URL 地址的时候，如果网页没有更新，Web 缓存系统 直接使用保存的副本进行响应客户端请求。只有当网站 明确标识资源已经更新，Web 缓存系统才会更新 Web 资 源副本。由于 Web 缓存系统部署距离用户客户端较近， 相当于将访问远端 Web 服务器流量留在本地网内， 从而 减少热点重复流量在互联网上进行传输， 可实现加快页 面打开速度， 提升用户上网感知， 减少网络延迟， 并可减 少上行网络带宽消耗与拥塞。66M STT April 2013摘要：本文介绍 Web 根据流量导入方式将其组网方式分为流量劫持与 策略路由， 并对两种组网方式工作流程

3、、特点及其 优缺点进行对比，流量劫持组网方式与策略路由 组网方式各具优势，可根据具体组网需求进行选 择。 关键词： Web， 缓存系统， 组网方式Abstra ct： This article introduces the mechanism and work process of Web cache system. The incoming data traffic can be classified into two categories: traffic hijacking and policy routing. The authors compares the types of net

4、working mode, traffic flow and characters and summarizes pros and cons of these two types of data traffic. Users can decide which one to choose based on their requirements. Keywords: Web, Cache System, networking modeM ODERN SCIENCE & TECHNOLOGY OF TELECOMMUNICATIONS现代电信科技 2 Web 缓存系统工作原理统流量导入方式不同，可以

5、分为流量劫持与策略路由。 Web 缓存系统一般部署在本地互联网出口处， 通过一定的流量引导方式将可缓存重复的 Web 流 量存储在 Web 缓存系统中，Web 缓存系统向用户回 吐流量， 利用存储空间换带宽， 从而将可缓存重复的 Web 流量留在本地互联网内， 减少上行带宽压力。3.1 流量劫持组网方式流量劫持根据劫持缓存系统导入流量类型的不 同， 又可分为 DNS 劫持与 HTTP 劫持。3.1.1 DNS 劫持组网方式原理DNS 劫持组网方式原理为客户端 DNS 解析请求 URL 中相关域名的时候， DNS 系统 劫持其 DNS 请求，不返回正常 DNS 解析结 果， 而返回伪造的解析结果

6、， 指向其缓存系统中的内容服务器， 具体访问流程见图 2。Web 缓存系统中没有缓存用户访问的 内容， 其访问流程为：用户访问 Web 服务器资源，首先向 DNS 服务器发起 DNS 解析请求； DNS 服 务 器将 DNS 解析请求转发给指向 Web 缓存系统 FDNS；FDNS 把 Web 缓存系统服务器地址回应给DNS 服务器；DNS 服务器把 DNS 解析结果返回给用户；同图 1 中的， 即：用户发出访问某 Web 服务器上某个文件的 请求， 其请求被转发给 Web 缓存系统；Web 缓存系统收到请求后， 向 Web 服务器发 出请求， 并从 Web 服务器下载文件；Web 服务器响应

7、 Web 缓存系统请求， 将文件传送给 Web 缓存系统， 指定过期时间等信息；Web 缓存系统在接收下载文件的同时将文图 1 Web 缓存系统工作原理图Web 缓存系统工作原理图见图 1，其具体工作流程为：用户一发出访问某 Web 服务器上某个文件 的请求， 其请求被转发给 Web 缓存系统；Web 缓存系统收到请求后， 向 Web 服务器发 出请求， 并从 Web 服务器下载文件；Web 服务器响应 Web 缓存系统请求， 将文件 传送给 Web 缓存系统， 指定过期时间等信息；Web 缓存系统在接收下载文件的同时将文 件传给用户一， 并保存在其存储设备中；用户二由于上网发出访问某 Web

8、 服务器上 同一文件的请求；Web 缓存系统查询其存储设备， 发现文件已 经缓存， 且未过期， 直接将从存储设备读出该文件数据并传送给用户二，如果过期，则 Web缓存系统再次向 Web 站点请求下载该 文件， 即重复、步骤。3 Web 缓 存 系 统 组 网 方 式研究Web 缓存系统组网方式根据缓存系图 2 DNS 劫持组网方式 Web 缓存系统原理图2013 年 4 月第 4 期 现代电信科技67T ech n o l o g y Pan o r am a技术广角 件传给用户， 并保存在其存储设备中。以后再有用户访问同样的内容，只需要重复 图 2 中和。3.1.2 HTTP 劫持组网方式原

9、理HTTP 劫持方式原理为在客户 端 发 送 HTTP GET 请求时， 劫持请求， 返回伪造的 302 调转应答， 指向其 Web 缓存系统中的内容， 具体访问流程见图3。流量劫持组网方式优点主要有：（1 ） 部署相对方便， 对现网网络结构没有改变， 适合于快速部署； 从设备维护上讲相对简单；（2 ） 如果 Web 缓存系统出现问题， HTTP 劫持方式用户直接从源站取数据，不影响用户使用；DNS 劫持方式只需要 DNS 服务器做简单设置， 用户可获 取正常 DNS 解析从而从源站取数据。流量劫持组网方式缺点主要有：（1） 不能缓存所有对象DNS 劫持方式只能手工设置有限数量的 用户访问流量

10、较大的域名，不能针对所有的 域名， 增加、减少缓存域名都需要人工介入； 另 HTTP 劫持方式对大文件对象效果较好， 而小文件对象传输时间较短， HTTP 劫持的成 功率比较低。（2 ） 内容更新问题 流量劫持组网方式缓存系统的内容抓取模块和 CacheOut 模块是完全独立的， 劫持缓存不会 实时更新缓存的内容，不会实时检查缓存对象是否 更新， 用户可能会看到过期的内容。（3 ） 消耗带宽由于互联网内容的复杂性，用户不再访问的内 容， 流量劫持组网方式缓存系统仍然进行内容抓取， 无效占用带宽。另流量劫持组网方式缓存系统内容 服务器就相当于普通的 HTTP 资源服务器，若没有 作任何限定，互联

11、网所有用户均可以访问下载其中 的资源， 消耗电信运营商的上行带宽资源。（4 ） DNS 劫持组网方式不可持续2010 年 5 月 5 日 ， 由 ICANN、 美 国 政 府 和 Verisign 管理的全 球 13 台根域名服务器已经完成 了域名系统安全扩展 （DNSSEC：Domain Name System Security Extensions， ） 升级。升级后， 反馈给用户的DNS 请求应答中会插入数字签名， 确保返回的域名地址是未经篡改的， DNSSEC 将会逐渐部署到所有 DNS 服务系统中， 届时劫持篡改网站的 DNS 记录将 不再可能。如果 DNSSEC 全面部署后， 虽然

12、可以和内容网图 3 HTTP 劫持组网方式 Web 缓存系统原理图Web 缓存系统中没有缓存用户访问的资源， 其访问流程为：用户访问 Web 服务器资源， 其请求通过分光 被劫持到 Web 缓存系统；Web 缓存系统向用户发出伪造的 302 调转 应答， 指向其 Web 缓存系统中的内容； Web 缓 存 系 统 并 向 Web 服 务 器 发 送 TCP RESET 报文， 终止用户访问 Web 服务器请求；同图 1 中的。以后再有用户访问同样的资源，只需要重复 图 2 中的。3.1.3 流量劫持组网方式特点及优缺点分析流量劫持组网方式 Web 缓存系统从源网站获 取内容方式是利用独立的内容

13、抓取模块，并通过分 析用户的访问行为，将下载数量超过某一设置阈值 的热点对象进行主动抓取， 保存在内容服务器中， 供 用户访问使用。另通过流量劫持方式组网， 用户看到 的 URL 都是直接指向缓存系统的内容服务器， 用户 可以直接感知缓存系统的存在。此种类型组网方式 实际上就相当于将 Web 资源站点服务器搬到本地 城域网内， 严格意义上相当于镜像服务器。68M STT April 2013M ODERN SCIENCE & TECHNOLOGY OF TELECOMMUNICATIONS现代电信科技 站签署内容引进协议， 通过合法的方式修改其 DNS记录， 但这种办法操作起来过于繁琐， 耗费

14、的资源太 大， 而且和所有资源提供网站签署协议也不太现实。流量倒入缓存系统后，缓存即可自动完成内容抓取及 CacheOut 等操作；（2 ） 可缓存所有 HTTP 内容， 只要是内容提供者 允许缓存的内容，无论大小及是否有无域名均可以 自动缓存；（4 ） 遵循 RFC2616、RFC2109 等相关规定， 用户 通过 Web 缓存系统访问的内容和不经过 Web 缓存 系统看到的内容保持一致，不存在更新同步与无效 占用上行带宽的问题；（5 ） 用户访问的是原始网站的 IP 地址， 缓存地 址不会透露给用户， 不存在安全性和法律上的风险。Web 缓存系统策略路由组网方式缺点主要有：（1 ） 部署相

15、对复杂， 对现网网络结构有一定的改 变， 需要从出口路由器设置策略路由将 Web 请求流 量倒出；（2 ） 如果 Web 缓存系统出现问题， 需要从出口路由器设取消策略路由， 从设备维护上讲相对复杂。3.2 策略路由组网方式3.2.1 策略路由组网方式原理 策略路由组网方式实际上是把 Web 缓存系统 串接在网络中， 其原理是 Web 缓存系统中如果有用 户访问的内容，则直接将缓存系统中的缓存内容返 回给用户， 具体访问流程见图 4。Web 缓存系统中没有缓存用户访问的资源， 其 访问流程为：用户访问 Web 服务器资源， 其请求被出口路 由器通过策略路由倒入到 Web 缓存系统；同图 1 中的。以后再有用户访问同样的资源，只需要重复 图 2 中和。4 结束语通过以上 Web 缓存系统流量劫 持组网方式与策略路由组网方式原理 及其优缺点对比可以看出，策略路由 组网方式在缓存效果、缓存对象种类 与数量、内容更新及时性、消耗带宽、 使用延续性等方面整体来看更具有优 势，流量劫持组网方式在部署与维护的易用性方面具有一定优势。在实际应用中， 可根据图 4 策略路由组网方式 Web 缓存系统原理图3.2.2 策略路由组网方式特点及优缺点分析 策略路由组网方式 Web 缓存系统自动下载并 保存所有可以缓存的对