优酷网视频存储架构

上传人:s9****2 文档编号:454756651 上传时间:2023-10-09 格式:DOCX 页数:4 大小:14.29KB
返回 下载 相关 举报
优酷网视频存储架构_第1页
第1页 / 共4页
优酷网视频存储架构_第2页
第2页 / 共4页
优酷网视频存储架构_第3页
第3页 / 共4页
优酷网视频存储架构_第4页
第4页 / 共4页
亲,该文档总共4页,全部预览完了,如果喜欢就下载吧!
资源描述

《优酷网视频存储架构》由会员分享,可在线阅读,更多相关《优酷网视频存储架构(4页珍藏版)》请在金锄头文库上搜索。

1、优酷网视频存储架构优酷网视频存储架构2010-12-2916:05视频分享网站总会面对这样两个问题:视频资源能否吸引网民以及视频浏览是否顺畅?中国互联网协会互联网数据中心发布的2008上半年视频网站数据显示,2008年上半年,优酷网月度总访问时长突破1.1亿小时,通过与全行业的浏览时长比对,优酷网占据的时长份额已超过50%Gomez中国网站用户体验排行榜显示,2008年7月1日到2008年7月31日,优酷网的平均响应时间是2.78秒。1.1亿小时与2.78秒,正是这两个长短对比鲜明的数据,充分体现出优酷网快者为王的经营理念。近日,记者独家采访了优酷网CTO姚键,试图从技术方面揭密优酷网的快字诀

2、。一切为了性能2007年,优酷网的用户访问量提升了25倍。姚键说起这个增长仍显激动,硬件设备同样有相应的增加。据记者了解,目前优酷网有近千万个视频资源,以每段视频20MB来计算,大约占据200TB的存储空间。优酷网采用服务器直连式存储(DAS)架构,即一台服务器只连接一台存储阵列。姚键透露,优酷网目前有数千台服务器。优酷网的服务器主要来自戴尔,还有一部分来自惠普。优酷网引进的戴尔服务器主要以PowerEdge1950与PowerEdge860为主,存储阵列以戴尔MD100C为主。如上图所示,优酷网将PowerEdge1950作为Web!务器和流媒体服务器,分别服务于页面系统与视频系统。另外,还

3、有一些服务器作为转码服务器,将用户上传的视频进行解码和再编码,最后做成统一的FLV格式。在存储层面,优酷网主要利用戴尔MD1000+PowerEdge86的组合,两者以DAS的方式相连,作为一个存储单元。在回答记者提出的为何没使用网络存储,如SAN等架构时,姚键表示:用户访问量持续成倍增长,对系统的性能、成本和可扩展性都造成了很大压力。采用DAS存储可以更好地满足对性能的需要。如果采用SAN存储,不仅成本增加会十分明显,而且在系统变得日益庞大时,性能也会出现瓶颈。为了提高用户的访问速度,我们想了很多办法。姚键表示,我们甚至都不用RAIDb不采用RAID技术,可以节省很大的存储空间,同时减少成本

4、,而且能够提供更好的I/O性能。据悉,目前优酷网的存储系统利用率都在90沖上。不用RAID是否会给视频数据的安全带来不良后果?姚键表示:由于优酷网采用了自建的内容分发网络(CDN技术,所有视频在不同的城市都有副本,所以不用担心数据的安全性。即使某地的一段视频发生了损坏,用户也可由实时的调度系统引导至其他CDN站点进行视频浏览。在优酷网的内容分发网络中,局部失效不影响整体访问,实际上比存储网络的安全性更高。更大范围内的分级存储自建的调度系统是优酷网实现快速访问体验的核心。优酷网将所有的服务器和存储设备分布在全国20多个CDN站点中,方便当地用户就近访问,以获得更快的视频体验。不像其他应用可提前计

5、划,互联网访问具有很大的不可预知性,很难预测什么视频在哪段时间的访问会突然增加。因此,实时有效的调度系统就显得非常关键。在网民访问优酷网的视频时,调度系统会根据该视频原本发布所在的位置、用户IP地址等信息安排网民就近访问,并会参考该站点的设备是否出现损坏、该地区是否是访问热点等因素,以便使用户的浏览速度达到最快。正是有了高效的调度系统,优酷网才可以将90%上的带宽都提供给用户,而其他CDN系统提供给用户的带宽通常只有70%80%优酷网所有的视频在一周之内会被用户访问一遍。姚键说,因此,优酷网的数据区分在线、离线的意义不大,更不用像其他行业那样要把部分历史数据进行归档处理。事实上,优酷网对视频信

6、息也会区别对待,只是区分的标准在于访问热度。访问频率高的视频会根据访问用户地址在各CDN站点间重新分布,并且会存放在SAS硬盘上,而冷门视频则会存放在速率稍慢的SATA硬盘上用户连线优酷网CTO姚键技术是互联网的生命。由于设备急速增加,我们非常在意系统的成本、性能与可扩展性。我们没有使用最先进、最贵的系统,就像Google使用自己的文件系统一样,不在乎贵不贵,而在乎是否合理运用。每台服务器或存储系统配多少块硬盘,文件块的大小为多少,我们都会做详细测试,以实现更佳的性能配置。快速崛起的视频网站根据知名调研机构AC尼尔森公司的数据:优酷网日视频播放量(VV)在2007年12月就突破1亿,每日独立访

7、问用户数量(UV)超过1200万。最新的数据是优酷网的VV已经达到1.5亿,UV超过2500万。在一定的周期内,硬件平台的性能必将会发挥到极限,但此时用户的需求仍持续性地高速增长,这就需要最新技术和最新产品要跟得上甚至超过我们的步伐。我们每年都会经历几次向硬件要性能的阶段。优酷网采购经理赵辉先表示。我们重视新技术,例如对SSD固态硬盘)就很渴望。我们非常看重SSD勺I/O能力,其随即读写速度非常高,这是现有所有硬盘都达不到的。我们渴望这种新的硬盘能迅速应用到新的服务器中。赵辉说。目前优酷网采用的是基于Flash的视频点播技术,这与P2P直播/点播有所不同,前者所有流量都来自服务器。因此优酷网相

8、比其他网站,更需要大量存储和流媒体服务器。基于此,优酷网对硬件设备供应商的要求主要有以下几点:第一,供货期短。硬件设备的供货是否及时,对发展迅猛的互联网企业而言生死攸关。用赵辉先生的话说,我们要求供应商能迅速供货,而不是坐等。在互联网行业,等待往往就意味着死亡。供货期尽可能地短,成为其选择供货商的首要因素。第二,产品线完备。一方面,互联网行业是对新技术有着强烈需要的行业,渴望最新的技术能迅速应用到成熟的硬件产品中;另一方面,适合的就是最好的,考虑到成本等因素,优酷网还需要一些虽然不是最好的,却是最适合的产品,这就要求硬件设备供应商的产品线齐全,用赵先生的话说就是,我们要的设备,供应商都要有。第

9、三,由于运营成本高,性价比也是优酷网需要考虑的重点。最后,由于优酷网的服务器分布在全国各地,远程管理与7X24小时现场服务等优质的技术支持与服务也是优酷网必需的。服务器应用目前,优酷网主要采用dellPowerEdge1950、PowerEdge860,存储阵列以dellMD1000为主。这些设备的主要配置如下:PE1950采用英特尔至强5310处理器,4G内存,两块300GSAS硬盘。PE860采用英特尔至强3060处理器,4G内存,一块80GSATA硬盘。MD100C存储阵列则装载有15块750GSATA硬盘。在体系结构上,优酷网采用分布式的结构,服务器和存储设备分布在全国各地,用户就近访

10、问,获得最快的视频体验。优酷网将PE1950作为Web!务器和流媒体服务器,分别服务于页面系统与视频系统。页面系统用以展示用户信息、积分、留言及视频的截图、排名、展示等,该系统所用的服务器数量只占20%左右,80%勺服务器都是用于视频系统的流媒体服务器,它们通过负载均衡的方式为用户提供流媒体服务。优酷网视频系统的加速机制较复杂,简单而言,它通过多种方式保证分布在全国各地的用户进行就近访问-用户点击视频请求后,优酷网将根据用户所处地区位置,将离用户最近、服务状况最好的视频服务器地址传送给用户,从而保证用户可以得到快速的视频体验。另外,还有一些服务器作为转码服务器-由于用户上传的视频格式很不统一,大小也不一样,就需要转码服务器首先进行解码,解码后再编码,最后做成flash文件,即统一的Flv格式。转码服务器在做完这些工作后,进行分发,存储,最后再通过流媒体服务器将视频传送给用户。在存储层方面,与服务器层面的就近访问相对应,优酷网的存储则是采用分布式存储,即利用MD1000+PE860的组合,将视频数据都存储在服务器所处的全国各大城市。MD100(与PE860以DAS直连存储)的方式相连,作为一个存储单元,每个存储单元之间各自为阵,不存在关联-一台PE860服务器只连接一台MD100C存储器。

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 办公文档 > 活动策划

电脑版 |金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号