《利用缓存独立队列技术提升视频业务感知标杆经验汇编辽宁移动》由会员分享，可在线阅读，更多相关《利用缓存独立队列技术提升视频业务感知标杆经验汇编辽宁移动（24页珍藏版）》请在金锄头文库上搜索。
1、“运用缓存独立队列技术提高视频业务感知”标杆经验推广手册（内容网络提高专项）辽宁公司10月一、摘要3二、背景4三、存在问题5四、解决方案和措施6五、获得效果21一、摘要 随着视频资源的日益丰富、高清视频的逐渐普及，视频流量在家庭宽带互联网业务应用中占比逐渐提高，目前辽宁视频业务约占顾客总流量的50%以上，流量重要由省内IDC、缓存系统和内容网络资源提供，我省缓存及内容网络均由华为厂商承建。我省在积极发展IDC视频资源引入的同步，大力开展视频类缓存服务来提高视频我省率，但由于存在热点记录丢失、上报不及时等系统问题，导致华为缓存系统的视频流量增长存在瓶颈，无法将更多的视频流量驻留在我省。因此，辽宁
2、公司分别采用“队列优化”、“独立分组”两种方案，提高原缓存系统和内容网络中视频业务的服务流量，有效提高了我省视频业务感知和体验。 核心词：队列优化、视频独立分组二、背景 各省视频资源重要由IDC和缓存提供，而IDC受制视频引入数量和深度等因素影响，因此各省普遍采用缓存系统来提高视频我省率。缓存先期效果明显，但缓存中TOP类视频流量存在增长缓慢和瓶颈，目前我省TOP10视频爱奇艺、优酷、乐视、搜狐等缓存占比都局限性40%。 为了评估我省互联网视频质量跟竞品差别，我省开展了互联网视频质量与竞品宽带的质量对标测试中，我们的视频质量与竞品的确存在一定差距，具体对比数据如下： 评估要素移动(10M)联通
3、(10M)视频播放首帧时间(ms)1230.41040.1总缓冲时间(ms)1239.41100.6平均缓冲比(%)4.11%3.34%吞吐率(KB/s)1008.51272.34成功率(%)94.70%96.63%注：测试环境采用沈阳、鞍山、盘锦等地市的10M家宽环境，对数据取均值。三、存在问题（一）、视频热点上报不及时，导致缓存服务流量低 我省华为大文献缓存建立是基于热点记录触发服务，由于存在热点记录丢失、上报不及时，导致视频热点资源不能提供应缓存子系统，导致缓存的视频流量增长存在瓶颈，无法将更多的视频流量驻留在我省。（二）、共用HCS资源，导致TOP视频服务流量过低 未分组前达到缓存热点
4、的所有网站和Top视频资源均会同步送到20台华为HCS进行回源，而每台华为HCS的并发回源进程数仅为64、队列中网站数量繁多，导致部分Top视频资源不能及时被华为HCS回源服务，致使视频流量增长缓慢。 四、解决方案和措施(一)、老版本缓存视频优化措施一：配备华为缓存SAS视频独立队列 原有缓存中，视频与大文献处在同样的热点列表中，因此华为缓存SAS节点上报给DSS节点的固定长度热点列表中，会丢失部分热点视频资源，导致缓存无法劫持服务，影响视频业务吐出流量；通过在华为缓存SAS上配备独立的视频队列，形成单独的热点列表，实现对视频热点的独立记录，从而减少视频资源不上报的也许性。我省根据省顾客访问视
5、频需求以及IDC引入状况，共对优酷视频、搜狐视频、腾讯视频、PPTV、乐视视频、CNTV和爱奇艺完毕独立队列的配备。 修改措施：登录华为缓存SAS主机ssh -p 39200 .6vi /usr/local/icache/sas/config/sas.conf 每对之间表达一种队列，resource_type为合同号，info为队列名称。如果需要为某个网站增长单独的队列，只需要增长一种对即可，其中内容根据实际状况填写。措施二：优化华为缓存SAS队列上报长度和周期 （1）优化队列长度 : SAS记录的热点列表数量决定了服务顾客的资源范畴，虽然顾客访问资源达到热点阈值（2次/天）后，如果未存在SA
6、S上报的热点列表，缓存也不会进行拦截加速。因此，SAS上报热点数量的合理设立会影响缓存吐出流量，目前定期对SAS文献进行记录，优化调节视频队列上报阈值，找到最合理的队列长度配备。 （2）优化华为缓存SAS上报周期 :SAS记录的热点列表原有设立为每200秒上报至DSS设备，由DSS下发任务给CSS和向RSS进行资源列表同步并“302”重定向并提供服务；我省在综合考虑设备性能的基本上，将SAS的上报时间周期由200秒/次缩短至150秒/次，提高上报频率，加快回源和拦截的效率，具体上报周期可根据各省实际状况设立。 修改措施：vi /usr/local/icache/sas/config/sas.c
7、onf每对之间表达一种队列，resource_type为合同号，upload_count为队列长度，info为队列名称。Upload_count和SAS日记中的Max count相应，一般只需要调节upload_count即可。150为队列上报周期。措施三：减少华为缓存CSS祈求周期时间 当DSS收到SAS热点资源列表后，CSS会周期性的向DSS祈求热点列表，在获取到热点列表后会进行回源，在本地留存文献，觉得顾客提供服务。因此不合理的CSS祈求周期时间会导致CSS回源时间延迟，进而导致RSS无法及时重定向顾客访问流量，丢失部分视频吐出流量。 修改措施：vi /usr/local/icache/
8、css/css_http/config/css_http.conf将timer_check_request_task_interval项改为10，保存退出，执行service css_http restart，重启CSS-HTTP服务。解决效果：(二)、内容网络视频优化 在融合内容网络中，缓存组网构造及设备类型均发生主线性变化，原有华为的SAS、DSS、RSS、CSS、MSS等设备都演进为华为HCS、TIS等设备，功能也随之发生变化，因此原有的视频独立队列优化方案也要相应进行调节。 为推动缓存视频服务优化，辽宁公司在现网内容网络Cache节点选用20台HCS内容服务器单独建立TOP10视频独立
9、缓存分区，与一般大文献资源进行辨别。20台HCS提成两个队列组，其中队列分组1划分11台HCS，缓存非TOP10 网站视频热点资源，队列分组 2 划分9台HCS，缓存TOP10网站视频热点资源。 辽宁公司针对TOP10和非TOP10视频建立的两个分组，视频全省总缓存流量通过三个阶段呈现稳步提高，分组后稳定态后，视频服务流量的均值和峰值均超过了分组前的吐出。 措施一：TOP10视频独立分组部署 针对华为缓存实行TOP10视频独立分组部署，在既有内容网络缓存服务器节点中选用定量的服务器作为独立POOL（分组中涉及N台HCS）进行TOP10网站服务，具体部署实行操作过程如下： 1：建立独立视频服务节
10、点，并将华为设备进行独立分组 登录:11086/BMS/login.action业务管理缓顾虑子系统分组新增；添加TOP10独立分组。缓存子系统：选择TOP10的9台HCS主机。分组类型：选择cache分组分组支持的网站：添加TOP10网站的域名。 图1 图22、系统对域名访问状况进行记录汇总，当达到阈值后成功缓存该资源。登录HCS主机查看ACCESSLOG日记tail -f /home/icache/hcs/hcs/log/accesslog |grep HITSY_SB_HCS03: # tail -f /home/icache/hcs/hcs/log/accesslog |grep HI
11、T/10/28_11:07:47_284314 223.101.73.250 - TCP_HIT 200 GET video/mp4 1.718923 ,&uid=.rp&keyitem=GOw_33YJAAbXYE-cnQwpfLlv_b2zAkYctFVqe5bsXQpaGNn3T1-vhw.&ntm=&nkey=934fe81229d6658b46b0f0649988a5b9&nkey2=6b4d287a0cbd065442a1a42daa821e35&geo=CN-6-0-4&gugtype=1&mmsid=61502302&type=pc_gaoqing_mp4&ch=百度_mfdy
12、&playid=0&pay=0&ostype=windows&hwtype=un&errc=0&gn=1928&vrtmcd=107&buss=1&cips=223.101.73.250&ich_args2=030162_937e2701cb35c20cb072b3011eb175ad_10006002_9c88632bd1c1f5d1913e518939a83798_305cea496d669c7459d706505b94c0af CI 0.073439 1306137 - - 10006002 0措施二：流量变化形态 在原有内容网络上单独部署TOP10视频独立分组进行服务，即相称于在原内容
13、服务节点中选定服务器作为独立分区进行TOP10网站服务，此时需要独立分区内服务器完毕业务下线和再上线服务，并针对TOP10视频重新回源，流量需通过“先降、后升、再稳”三个阶段。 1、登录华为缓存report报表:9011/console 选择数据应用资源管理器系统报表缓存速率报表选择大文献节点自定义时间查询； 图1 图2 图3 图42、查询成果对比。 图1第一阶段，下降阶段：独立队列部署完毕，两个队列组内重新进行资源分布哈希环计算，HCS之间进行动态资源重平衡，直接导致流量下降。 第二阶段，提高阶段：动态重平衡完毕，两个队列同步缓存热点视频资源对顾客提供服务，整体吐出流量涨幅明显。 第三阶段，稳定阶段：属于调节独立分组后，回源稳定期期。整体吐出流量较分组前得到大幅提高，超过调节前每日的峰值和均值。 措施三：加快华为HCS设备回源速度 每当浮现新设备上线，我们都会面临回源速度慢问题，针对加速HCS回源的优化经验有增长单台HCS回源进程、启动资源重平衡功能等。 措施1：调大回源限速，即修改流入上限阈值。修改措施：1、在BMS对旁路HCS大文献节点分组限速，配备参照如下：登陆HCS后台检查如下：vi/home/icache/hcs/hcs/config/i.conf 1:0|2:0|3:0|4:0|5:0|6:0|7:0|8:0|9:0|
