《云存储系统高效数据传输机制的研究》由会员分享，可在线阅读，更多相关《云存储系统高效数据传输机制的研究（60页珍藏版）》请在金锄头文库上搜索。
1、华中科技大学硕士学位论文云存储系统高效数据传输机制的研究姓名：张建林申请学位级别：硕士专业：信息安全指导教师：邹德清2011-01-26华中科技大学硕士学位论文II摘要为了适应数据迅速增长的趋势和用户随处存取的需求，越来越多的企业开始部署云存储系统。网络服务存储系统将网络中大量存在的开放存储服务聚合起来，提供了较为可观的空间和带宽总量，并具有强服务能力、高透明性、高可扩展性等特点。但是在网络服务存储系统中，有限的边缘存储服务运营商与庞大的用户存储数据量之间相互牵制。当某种存储服务同一时刻接受大量任务请求时，极有可能导致用户数据丢失，从而降低了系统可用性。高效数据传输机制有效解决了上述问题。该机
2、制根据网络服务存储系统中文件特点，改进了Kademlia算法，在用户节点组建底层的peer-to-peer(P2P)网络结构，实现了用户节点之间数据共享。通过分析了系统用户在线时间和行为特征，提出并实现了超级节点选择算法。同时根据系统中文件备份数和数据下载成功率，结合超级节点信息，实现了基于协同传输节点群的高效备份策略。高效数据传输机制设计了一套完善的数据传输算法，针对用户不同的操作如上传，下载和协同传输而实现了不同的透明传输策略。最后该机制为系统引进了缓存服务器，它保存了一份完整的冗余文件，并承担系统复制策略的主要数据分发工作。系统测试日志表明，高效数据传输机制引入系统后，将上传文件时间缩短
3、了约13，下载文件时间缩短了约12。同时，在系统文件备份数目达到一定阈值后，用户从邮箱服务器下载文件的成功率也提高到95%以上，基本接近邮箱存储的理想状态。基于改进后的系统被动复制策略，可以看出协同群组传输数据的成功率明显提高，达到了97%以上。关键字：可靠服务，超级节点，协同传输节点，可控数据流，协同备份华中科技大学硕士学位论文IIIAbstractMoreandmoreenterprisesbegintodeploythecloudstoragesystemtoleveragethetrendsofdatarapidgrowthandtheneedsofusersanywhereacces
4、s.TheppStoresystemunifiesalargenumberofinternetopenstorageservicestosupplyconsiderableamountofstoragespaceandbandwidth.Withthefeaturesofstrongserviceabilityhightransparencyandhighscalabilitythissystemsuppliesmultiplestoragenodeswhichcanserveuserssimultaneously.Howeverinthecloudstoragesystemtheamount
5、ofdatatransmittedbyusersisverylargebutthenumberofstorageserviceproviderislimited.Sincethesituationofrefusingservicewhichmaycausethelossofusersdataandthesystemfailurewilloccurwhenastorageservicereceivesalargenumberoftaskrequestsatthesametime.aEDTS(Anefficientdatatransmissionscheme)solvestheproblemsab
6、ove.aEDTSimprovestheKADalgorithmaccordingtothefeaturesoffilestorageandimplementsthedatasharingbetweenusersnodesbyconstructingtheP2Pnetworkstructureamongusersnodes.aEDTSproposesandimplementsasupernodeselectalgorithmafteranalyzingtheusersonlinetimeandcharacters.Atthesametimeweproposeandimplementacoope
7、rativetransmissionnodeselectionalgorithmbasedonefficientbackupstrategyaccordingtothenumberoffilecopyinthesystemandthesuccessrateofdatadownload.aEDTSdesignsaperfectdatatransmissionfordifferentoperationssuchasuploaddownloadandcooperativetransmissionandtoachieveadifferentstrategyfortransparenttransmiss
8、ion.aEDTSbringscacheservertothesystemwhichsavesacompleteredundantfileandisresponseforthemaindatatransmissionworkofsystemcopystrategy.ThepracticaltestlogrevealsthataEDTSdecreasestheaveragetimesofuploadingfileby13andtheaveragetimesofdownloadingfileby12.Atthesametimewhenthenumberofsystemfilecopiesreach
9、esacertainvaluethesuccessrateoffiledownloadfrommailserverbyusersreaches95%.Fromtheimprovedsystempassivecopystrategythesuccessrateofcooperativedatatransmissionisimprovedobviouslywhichreaches97%.Keywords:ReliableServiceSuperNodeCooperationTransmissionNodeControllableDataStreamCollaborativeBackup华中科技大学
10、硕士学位论文I独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制
11、手段保存和汇编本学位论文。保密，在_年解密后适用本授权书。不保密。（请在以上方框内打“”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日本论文属于华中科技大学硕士学位论文11绪论本章首先简述网络存储系统中数据可靠性的研究背景，接着介绍国内外在对等网络及存储系统中超级节点的选取和组织特性、分布式存储网络中协同传输群组的管理方法、可控数据传输机制这三个方面的研究概况，然后说明本课题的研究背景和主要研究内容，最后简单描述文章的框架和组织结构。1.1问题提出根据目前数据产生的趋势，IDC估计到2012年全球产生的数据量将是2008年的5倍，用户不仅要把这些数据可靠地存储起来，而且需要随处存取
12、，即数据能从任何地方通过网络访问。由于用户对数据可靠存储的需求日益增长，因此对于众多用户来说在云端的应用更需要的是存储服务。现在，分布式存储已经在因特网内大放异彩，基本上广域网内主流的存储服务都建立在分布式存储基础之上，Google123、Amazon4、Yahoo!5、微软、EMC等都推出或者构建了一套完整的云存储应用。但是它也面临着很多问题部署上的问题。比如说在云存储应用中软件漏洞处理上经验不足，实现大规模存储出现各种相关性错误6，服务器配置紊乱与高要求的操作人员7，恶意的内部节点，存储服务失效，未确定性错误和一些天灾8错误！未找到引用源。同时在云存储技术上存在一定的不足：不同网络的通信问
13、题，分布式存储的管理问题，数据更新的一致性问题，数据的安全性与可靠性问题，数据的快速分发问题，服务器的分布式部署问题等等。而且在因特网中个人存储系统还不够完善，要么有些服务有空间限制，要么有些服务对文件有多种文件限制，要么有些可扩展性不强，要么有些服务存在各种差异性。在广域网的环境中，分布式存储有着其先天的优越性，其主要的优点就是扩展性强，运用边缘服务器提高数据传输速度。但是，正如上面所提到的，分布式也存在着自身的技术难点，运用网络中的免费存储资源来充当系统的边缘存储服务器，在很大的程度上解决了以上的问题。同时，大多数提供给个人使用的存储系统没有提供共享这一功能，因此希望能集成这一功能，体现存
14、储系统的另一实用价值。因此网络存储系统ppStore应运而生了，该系统利用网络上大量存在的开放存储服务，将这些存储服务聚合起来，形成服务云。ppStore系统所构建的“存储服务云”，华中科技大学硕士学位论文2将单一服务聚合起来，提供了较为可观的空间和带宽总量，在同一时刻可以有多个存储节点同时为用户服务，具有强服务能力、高透明性、高可扩展性、高可靠性等特点。同时它还提供了一种低开销、大空间、可共享、高可用、可扩展的开放网络存储资源聚合方法。由于系统中用户面对的不再是单个的存储服务点，而是分布在互联网上存储服务群以及用户群，用户可以在同一时刻与多个存储服务提供者以及用户进行数据传输和共享，使得数据
15、传输速率大大的提高。然而，随着ppStore系统早期的使用，也带来了新的问题和挑战。广域网内的存储服务是先天性的不可控服务，各种失效或错误时常发生，而该种情况极有可能导致用户数据丢失。在一个大规模的广域网内，用户传输的数据量是相当庞大的，而边缘存储服务运营商是有限的，当某种存储服务同一时刻接受大量任务请求时，会出现很明显的拒绝服务情况。这一特征从几个方面削弱了ppStore系统的优势：第一，由于用户上传文件时，同一IP地址会频繁访问某种存储服务，就会出现该存储服务拒绝访问或者服务质量低下的情况。那么系统就会采取超时重传或者等待重传策略，因此用户任务周期会大大延长。同时系统的重传机制会增加存储服
16、务的性能压力和网络带宽开销，且最坏的情况是上传文件不成功，这急剧地降低了系统的可用性；第二，用户下载热门文件，请求量会骤然上升，就会出现大量用户去访问同一存储服务的情况。那么保存该文件的存储服务的性能就会成为系统的瓶颈。与此同时，系统的负载均衡也会被破坏9，造成了某些存储服务被大量访问，而某些存储服务却很少有用户访问的结果。并且随着存储服务性能的下降，其拒绝访问的可能性会大大地增加，那么用户就会在很长的时间内都不能下载到数据，或者根本就下载不了数据；第三，为了保证系统的高可靠性，在早期的ppStore系统中，也采用了简单的单点复制策略，即用户在上传某个文件的同时，由这个单点自身采用网络传输协议的备份机制，如利用SMTP协议本身的抄送机制，将文件片简单地做多次备份。同样，这种单点备份策略由于存储服务的不可控性，造成了复制策略的低效率和低可行性。根据以上的分析可以看出，广域网内的存储服务的不可控特性所造成的核心问题就是用户与存储服务之间传输数据的任务周期无限延长，甚至可能是失败的任务。用户上传数据至存储服务器可能不成功，那么系统中连完整的
