《cache cdn idc技术》由会员分享，可在线阅读，更多相关《cache cdn idc技术（20页珍藏版）》请在金锄头文库上搜索。
1、- 1 -内容CACHECDNIDC技术互联网问题及思考12u一、IDC已引入的内容源存在的问题u二、CACHE、IDC建设统未统筹考虑- 2 -InternetIP承载 网络WebCacheP2PCacheCahe的是将用户访问或下载的热点内容在存储设备中保存一个副本，当内容再次被用户访问或下载时，不必连接到驻留（源）网站，而是由Cache中保留的副本直接提供，以达到加速访问或下载，降低网间带宽和依赖的目的。一般CACHE分为WEB CACHE和P2P CACHE。特点：一次外网访问，多次内网服务流量拥塞点:省网出口互联出口解决HTTP流量问题解决P2P流量问题什么是什么是CACHECACH
2、E？- 3 -WebCache系统以透明方式部署于中国移动CMNET，在网间出口处（北京、上海、广州）采用分光方式部署重定向子系统，将网间出口处的HTTP流量引导至对应的WebCache系统服务器组。DPI： Deep Packet Inspection 深度包检测骨干现网正在部署过程中，与CMNET五期工程同期（正在工程建设过程中）省公司自建CACHE：/内蒙/湖北/山东/福建/广西/江苏/四川/重庆/贵州/西藏/浙江注：一般是WEB Cache和P2P Cache同时建设WebCacheWebCache全网部署情况全网部署情况- 4 - 1、用于基于客户端浏览网页，向Local DNS发
3、出域名解析请求- 2、Local DNS服务器向外网发送DNS解析请求- 3、解析请求到达外网DNS服务器前，通过DPI 设备复制一份到GSLB设备，原请求到达外网 DNS服务器- 4、GSLB进行域名请求判断，如果为预先设定的 域名解析请求，则解析域名请求的IP地址为Web cache的IP地址，回应给Local DNS服务器- 5、Local DNS服务器将Cache的IP回应给用户 。（外网DNS回应Local DNS晚于GSLB到达 Local DNS，被Local DNS丢弃）- 6、客户端收到Local DNS回复的域名解析结果 ，向Cache发起web访问请求- 7、Cache命
4、中则直接回应客户，不命中则从 Internet取回数据，保存在本地并回应客户ClientDPILocal DNSInternet5WebCache系统GSLBClient12467SLB+CacheServerWebCacheWebCache系统重定向机制系统重定向机制旁路DPI+DNS重定向机制- 5 -1.用户先通过互联网下载种子文件（.torrent文件，即被下载文件的“索引” ）， 该文件包含Tracker信息（ 服务器地址 ）和文件信息（目标下载文件的目录信息）两部 分2.BT客户端通过种子文件中的信息连接到tracker服务器，并向tracker服务器发出 announce请求（包
5、含需要下载的文件目录和文件名）。3.Tracker服务器收到用户请求，将回复用户一个Peerlist，包含可下载文件的若干个 可用的下载站点的IP地址，此IP地址包含服务器地址或其他用户地址。4.用户通过客户端向Peerlist中提供的各IP地址发送下载文件请求，与各IP地址连接 后，开始进行文件下载（根据种子文件，两者分别告知对方自己已经有的块，然后交换 对方没有的数据 ），此时不需要服务器参与，分散了单个线路上的数据流量。P2P Cache一般的HTTP/FTP下载，发布文件仅在某个或某几个服务器，下载的用户增多 时，服务器的带宽很易拥挤，下载速度变慢；而P2P协议下载的特点是下载的 用户
6、越多，提供的带宽也越多，种子也会越多，下载速度就越快 ，BT、迅雷 、电驴、PPlive等P2P下载工具工作方式虽各有特点，但基本原理相同。P2P工作原理典型P2P应用：BT下载- 6 -Internet多种终端用户BT、eMule、迅雷等P2PCache技术原理1. 用户从互联网下载种子文件，通过其向互联 网中tracker服务发送P2P请求 2. 通过分光方式旁路链路信息，DPI设备截获 用户发起的P2P请求 3. DPI设备分析后，将用户P2P请求转发到重 定向设备 4. 重定向设备对用户请求进行分析判断该资源 是否已经被缓存 5. 如果用户请求资源没有缓存，重定向设备将 不处理该请求
7、6. 如果用户请求资源已经被缓存，重定向设备 将中断该用户同外网的连接并将其重定向到 缓存服务器，Cache系统向用户发送 Peerlist（均为网内用户/服务器地址）， Cache服务器自身地址也包括在peerlist中 7. 用户根据peerlist文件中IP地址连接至相关 服务器/用户（含Cache服务器）后开始 P2P下载DPIP2P Cache 当前在现网未部署，也没有确定部署方案。- 7 -什么是CDN？四川音乐Mobile Market上海流媒体全国管控中心全国管控中心服务节点服务节点服务节点服务节点服务节点服务节点CDN全称是Content Delivery Network，即
8、内容分发网络，建立并覆盖在承载网之上、由分布在不同区域的节点服务器群组成的分布式网络，通过一定规则将源内容发布到最接近用户的边缘，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问的响应速度。- 8 -CDN关键技术从内容源到CDN边缘的Cache的过程。有两种主流的内容分发 技术：PUSH和PULL。一个是内容源的存储，一个是内容在CDN节点中的存储。内容管理在涵盖了从内容的发布、注入、分发、调整、传递 等一系列过程CDN负载均衡系统实现CDN的内容路由功能。它的作用是将用 户的请求导向整个CDN网络中的最佳节点。路由分发存储管理- 9 -节点Cache服务器保存着
9、原始服务器上相应内容的副本以响应用户的请求 。 本地负载均衡控制器（Server Load Balancer）来实现流量分配的功能。 节点缓存和本地负载均衡服务器全局负载均衡（GSLB）控制服 务器，直接或间接地取得分布 在各地的CDN节点中Cache服 务器的工作状态和性能，判断 用户的来源，保证用户被有效 的分配到离其逻辑上最近最健 康地节点上。 GSLB控制服务器CDN全网内容管理，决定 内容分发的方式，内容缓 存地点、缓存时间、缓存 删除等信息的管理系统。内容管理系统内容存放的源站服务器源服务器CDN的网络监控和管理中心 监控各节点Cache服务器是否正 常工作，负载情况，带宽占用 情
10、况，Cache的命中率等。网络管理系统CDN逻辑组成- 10 -CDN服务提供商市场占比情况第二梯队AkamaiLimeLightCDNetworksNo.1 蓝汛 （60%）No.2 网宿 （23%）海外市场国内市场随着海外CDN市场发展的提速，各类参与者也逐渐进入 CDN市场领域，占据少量份额； Internap Level3 Verisign CacheLogic VitalStream 帝联 快网 天地互联 UniCache第二梯队海外CDN巨头开始重视中国市场，但市场份额相对较小 ，且偏重于跨国企业以及国内资源的海外分发. 国内第二 梯度中仍以国内企业为主蓝汛与网宿占据国内市场的主要
11、份额，技术实力、业务种类、运营经验、服务支撑与其它厂家相比优势明显；作为CDN的主导厂商，Akamai优势明显，全球市场占比超过60%ELSE- 11 -nChinaCache 中国最大CDN服务提供商ChinaCache服务节点已经超过500个，遍布中国100多个主要城市，全网处理能力突破800Gbps.为流媒体、WEB2.0、政府、门户、证券行业、电子商务、游戏、软件、企业等300多家网络媒体及国内外企业网站提供服务与解决方案。n网宿 中国第二的CDN服务提供商网宿CDN平台部署在3大运营商（移动、电信、联 通）及2大专有网络（中国教育和科研计算机网、 中国科技网）的骨干节点上。拥有带宽数
12、量近230G，节点数近100个，具备覆盖 全球的12个CDN海外节点。目前公司服务的客户近300家。12个海外节点国内节点分布广泛，面向用户提供跨网的静态、动态网页加速、流媒体加速、下载加速等解决方案国内节点分布广泛，面向用户提供跨网的静态、动态网页加速、流媒体加速、下载加速等解决方案国内CDN服务提供商概况- 12 -中国移动与各CDN厂商的合作情况蓝讯：海南、江西、安徽、云南、江苏、浙江、 湖南网宿：广东、山西、新疆思华：辽宁具体引入如下：- 13 -IDC现状黑龙江吉林内蒙古新疆宁夏山西北京河北辽宁甘肃山东江苏上海浙江福建云南贵州湖南江西河南湖北海南西藏青海台湾陕西广东四川重庆广西安徽天
13、津IDC（Internet Data Center），即互联网数据中心。IDC是一种Internet服务，一般可分为4个层面：提供空间提供主机提供应用，如邮箱、网站提供内容源目前在北京、上海、广东、江苏、四川、浙江、重庆等地建设7个一类IDC，满足全国性、规模性资源和应用支撑需求，并兼做本省IDC。其他各省根据本省业务需求建设二类IDC，满足省内本地内容托管和集团客户应用等需求，同时作为一类IDC的补充，提供镜像、内容分发等- 14 -Cache、CDN、IDC区别定义作用当前情况CacheCache的是将用户访问或下载的热点内容在存储设备中保存一个副本，当内容再次被用户访问或下载时，不必连接
14、到驻留（源）网站，而是由Cache中保留的副本直接提供，以达到加速访问或下载，降低网间带宽和依赖的目的。暂时缓解网间 带宽的问题北京、上海、广州正在 部署WEB Cache， P2P Cache正在方案 制定中CDNCDN全称是Content Delivery Network，即内容分发网络，建立并覆盖在承载网之上、由分布在不同区域的节点服务器群组成的分布式网络，通过一定规则将源内容发布到最接近用户的边缘，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户访问的响应速度。加速网内访 问中国移动未部署，部分 省引入CDN服务提供 商的节点IDCIDC（Internet Da
15、ta Center），即互联网数据中心，是一种Internet服务彻底解决内 容源问题正在进行IDC内容源的 引入，目前已引入？ 家- 15 -内容CACHECDNIDC技术互联网问题及思考12u一、IDC已引入的内容源存在的问题u二、CACHE、IDC建设统未统筹考虑- 16 -16一、一、IDCIDC已引入的内容源存在的问题已引入的内容源存在的问题在IDC网站引入后，我网用户访问某些已引入网站时，仍然访问联通、电信网络节点。以实际数据和例子说明问题存在？可引用监控分析数据问题背景- 17 -1、我网IDC未引入新浪的内容占新浪总内容的30%-40% 新浪目前在移动已经部署的业务与产品有：静
16、态类（新闻、娱 乐、体育等主要静态页面镜像）、视频类（播客、大片、新闻 视频）、WAP类（全业 务） X没有部署的业务主要有：博客、全部动态内容、数据库内容、 IM类、聊天室等 2、虽有智能DNS,但未正确配置IP占我网IP总数的60-70% 新浪网有自建的只能DNS，根据我公司IP地址列表和新浪网配 置的IP列表对比，约60%的IP地址落在新浪只能解析的列表之 外，这些地址访问内容的服务器地址被随机解析没有智能DNS，只能靠轮训的方式，同样会被随机解析 统计，来自移动用户被正确解析到移动IDC的仅占移动 访问总流量的？%一、一、IDCIDC已引入的内容源存在的问题已引入的内容源存在的问题问题分析- 18 -一、一、IDCIDC已引入的内容源存在的问题已引入的内容源存在的问题 一、建设智能DNS，使得我网用户在访问内容时能正确解析到我网IDC内容源。 二、建立与内容提供商的长效沟通机制，交换IP地址配置清单，使得具有智能DNS的内容源提供商能正确配置。 三、建议数据部分析已引入IDC的内容源是否完整
