《云存储服务质量的若干关键问题研究》由会员分享，可在线阅读，更多相关《云存储服务质量的若干关键问题研究（60页珍藏版）》请在金锄头文库上搜索。
1、分类号学号D200777568学校代码10487密级博士学位论文云存储服务质量的若干关键问题研究学位申请人：王健宗学科专业：计算机系统结构指导教师：谢长生教授副指导教师：万继光副教授答辩日期：2012年5月24日AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonKeyProblemsofQualityofServiceinCloudStoragePh.D.Candidate:WangJianzongMajor:ComputerAr
2、chitectureSupervisor:Prof.XieChangshengCo-Supervisor:Assoc.Prof.WanJiguangHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay,2012独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月
3、日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密 ，在年解密后适用本授权书。不保密 。（请在以上方框内打“”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日摘要?随着科技的进步，信息技术的发展日新月异，特别是互联网的发展，促成人类生活的改变，从2006年Amazon公司发布AWS系统到2007年IBM和谷歌公司提出云计算的概
4、念以来，云计算已经逐步走入人们的生活当中，使得计算资源如同消费水电般被人们以按需付费的形式使用成为可能。众所周知，当今社会信息量的爆炸式增长使人们对于存储量的需求越来越大，也为云存储发展提供了契机，成为最快为大家所接受的一种云服务形式。云存储用户范围从最初的互联网行业扩大到企业、个人应用等多个领域。服务规模的扩大为云存储系统运营和维护带来了诸多挑战：如数据存储的费用、可靠性和可用性等。云存储的基础设施需要专门为存储海量数据而设计，并需要不断扩容，随着规模的不断扩大维护数据可靠性和可用性的难度也随之增加。同时作为云存储服务的使用者，无论企业或者个人，会在将数据移植到云端前综合考虑权衡各种因素，评
5、价各项指标和性能，例如移植代价、服务质量、数据的可获得性，特别是后续持续使用的开销等，务必通过严格的评估才能做出正确合理的决定。针对目前云存储提供商中，特别是公用云存储平台的性能瓶颈，以及云服务提供商和使用者对于工作负载开销的预估性不足等问题，本论文系统研究了云存储中服务质量的若干关键问题，重点考虑公有云平台的性能稳定性、数据可获得性、云存储系统的可靠性以及其资源调度策略等主题。此外，随着越来越多的工作负载借助于云计算平台来完成，对于InfrastructureasaService（IaaS）提供商来说，一个很大的挑战就在于如何进行精确的成本核算并向租用其平台的SoftwareasaServi
6、ce（SaaS）用户收费，即如何用一个可靠并智能的模型去相对正确地估算负载所消耗的成本并制定合理的价格策略。针对上述的问题和挑战，本文的主要贡献如下：提出一种基于混合公有云存储的优化结构CloudMW，CloudMW针对公有云存储平台中，存储性能稳定度不足及对数据共享支持度不够等问题给出了优化改进方案，通过借鉴RAID系统中复制和分块的思想，将数据条带化放置到云端，并利用中间件技术实现了数据的共享和性能的优化，实验结果证明CloudMW能很好地维护系统的稳定性，并支持数据共?本课题得到国家重点基础研究发展计划（2011CB302303）和国家自然科学基金（60933002）的资助I享且在线服务
7、性能得到保障。当前将用于本地存储或网络系统可靠性的纠错码技术引入到分布式的云存储环境成为趋势，以取代当前云存储系统中常用的多份副本可靠性策略。针对工作负载的多样性特点，深入云存储系统内部，本文提出了一种基于负载特征的云存储可靠性框架CloudRAID，把工作负载的特征考虑到可靠性的保障机制选择中，通过定量化的评价模型，自适应地合理构建云存储可靠性策略，并且在HDFS中实现CloudRAID原型，以验证其有效性以及服务能力。还特别关注云存储提供商的利润率，提出了一种云端自适应的利润优先的调度效用优化算法CloudIO用于分布式云存储环境的I/O资源调度，该算法在保证云存储提供商服务能力的前提下，
8、避免工作负载突发性导致的性能下降乃至停滞，在最大化满足服务水平目标的同时，把云存储提供商的利润考虑到调度算法中，通过实验证明本调度算法同其他调度算法相比能达到更好的负载均衡并使云存储提供商获得更高的利润率。最后提出云环境中工作负载成本开销模型CloudCOST，该模型具备较强的灵活性，既能将应用分配到更大的资源池中，也考虑了更优化的资源共享，并具有自适应性，即对应用分配方式的敏感度较低，能基于应用负载突发性对IT公司的不同应用创建突发过滤器，过滤掉那些因突发性太剧烈而使成本过高的应用，把这些应用移植到云端，此外能整体为IaaS供应商设计成本核算和价格生成模型，通过利用在实际IT公司中收集到的工
9、作负载进行模型的验证，发现CloudCOST具备一定的鲁棒性，同时能根据市场的价格变化动态调节云平台的定价机制。通过对上述云存储服务质量的若干关键问题研究，目标是能够为客户提供性能优良、可靠性高、负载均衡同时能节约成本的云存储生态系统。关键词：云存储，性能优化，可靠性，资源调度，开销模型，定价策略，服务质量，波动因子，负载突发度，虚拟化合并，纠错码IIAbstractWiththeprogressofscienceandtechnology,theinformationtechnologyhasbeende-velopingwitheachpassingday.Especially,thede
10、velopmentoftheinternethascontributedgreatlytothechangeofhumanlife.SincethereleaseofAmazonWebService(AWS)sys-tembyAmazonfrom2006andtheproposaloftheconceptofcloudcomputingbyIBMandGooglein2007,cloudcomputinghasgraduallygoneintopeopleslife,makingitpos-sibleforpeopletoconsumecomputationresourcesliketheyc
11、onsumewaterandelectricityaccordingtotheirdemandintheformofpay-as-you-go.Asweallknow,cloudstorageiswellacceptedbypeopleaccordingwiththeexplosivegrowthoftodayssocietyinformation.Inadditiontotheearlyadoptersfromtheinternetcompanies,moreandmoreenterprises,organizations,andindividualsbegintorelyoncloudst
12、oragetoholdtheirhugedigitalinformation.Somechallengeshavebeenbroughtout,suchasdatastoragecosts,reliabilityandavailabilitywiththescaleexpansionofcloudservice.Meanwhile,thecloudstorageserviceuserswilltakeintoconsiderationvariousfactorsbeforemigratingdatatoclouds,forinstancetheoverhead,qualityofservice
13、,dataavailability,especiallythefollow-upcostofcontinuousservice.Inordertomaketherightdecision,whetherenterprisesorindividualswillgiveadeepthinkingbeforeinvolvingincloudservices.Toaddresstheproblemswiththebottleneckofpubliccloudstorageperformanceandthelackofaccuracyofthebudgetforbothsidesbetweencloud
14、storageprovidersandusers,thispaperistodealwiththekeyproblemsofqualityofserviceincloudstorageincludingpubliccloudstorageperformanceoptimization,cloudstoragesystemreliabilityandI/Oresourceschedulingstrategies.Inaddition,abigchallengeofIaaSprovidersishowtoaccountthecostandchargefeesfromtheleasingSaaScu
15、stoms.Inotherwords,weareaimtouseareliableandrobustmodelandmaketherightpricingstrategiesaftertheevaluationofworkloadscostaccurately.Thispapermakesomeprogressesfacingthepreviouskeyproblemsandchallenges.Themaincontributionsofthepaperasfollows:weproposedahybridcloudstorageop-timizedframeworkCloudMW,Clou
16、dMWcanbringoutseveralimprovedschemastoIIIaddressthelackofperformancefluctuation,datasharingsupport.ByimportingchunkingandreplicationthinkingofRAIDintocloudstorage,westripethedataintocloudsandu-tilizethemiddlewaretechnologytoimplementdatasharingandperformanceoptimizing.TheevaluationprovedthatCloudMWcanavoidtheperformancefluctuation,supportdatasharingandmaintaintheonlinequalityofservice.Inaddition,thecloudstoragereliabilityframework,calledCloudRAIDispresented
