《数据密集型计算中副本优化机制研究》由会员分享，可在线阅读，更多相关《数据密集型计算中副本优化机制研究（75页珍藏版）》请在金锄头文库上搜索。
1、指导教师 申请学位级别 论文提交日期 硕士 4 3 0 0 6 3 2 0 1 1 - 0 4论文答辩日期 2 0 1 1 0 5 学位授予单位盍这里墨盘堂学位授予日期 ： 答辩委员会主席里量羔煎评阅入氆垦煎 岛豫 2 0 11 年0 5 月 罗k_?一：I卜一、_，一鼍；廿釜t，乒囊一一一套砖慵囊鹄一心_譬域秘一 独创性声明 f r f l l J l I II rl lrrlIIJr l l r li Jji f r r lr i l lIll Y 18 7 9 7 5 2 本人声明，所呈交的论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地
2、方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 签名：丕卫勉日期：竺12 ：苎：丑 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位 论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或 其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认 可的国家有关机构或论文数据库使用或收录本
3、学位论文，并向社会 公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 觥c 捌：石胥藏驯捌：幻垆叭I 1 7 摘要 随着互联网用户的剧增和宽带网络的普及，数据在人们生产生活中扮演着 越来越重要的角色，互联网服务逐渐成为以海量数据处理为中心的服务，其服 务质量在很大程度上依赖于对所提供数据处理的能力，数据密集型计算应运而 生。 副本技术是数据密集型应用中的一项关键技术，它不仅可以提高数据密集 型环境中数据的可靠性，还可以有效降低数据的网络访问延迟，提高网络的负 载均衡。因而对副本管理机制进行优化是提高数据密集型应用服务质量Q o S 的 一种有效途径。 本文在对数据密集型环境中数据副本管
4、理机制研究分析的基础上，结合国 内外研究现状及实际应用，对副本管理中的副本选择和副本替换两个方面进行 了深入的研究，并提出了相应的优化策略，主要包括以下两个方面的工作： ( 1 ) 副本选择策略优化：针对云计算这一数据密集型计算的商业化特点， 基于带权重的集合覆盖问题( W S C P ) ，提出一种具有成本感知功能的副本选择 策略，使得在选择低成本数据副本的同时减小副本传输时间，从而提高云环境 中数据密集型应用程序的效率；对云仿真器C l o u d S i r n 进行数据传输和动态带宽 两方面的扩展，并在扩展的云仿真器C l o u d S i m 中对提出的策略进行了有效性验 证。 (
5、 2 ) 副本替换策略优化：通过对数据密集型环境中传统的副本替换算法的 研究分析，针对L R U 策略在顺序访问模式下性能不足的问题及传统策略的不 足，将美国俄亥俄州立大学讲席教授张晓东博士提出的L I R S ( L o wI n t e r - r e f e r e n c e R e c e n c y ) 替换算法应用到副本替换中，然后对模拟器O p t o r S i m 进行扩展，实现 了一种基于L I R S 的副本替换策略，并在不同的调度策略和访问模式下将该策 略与其他的策略( L I W 、M R U 、L F U 和M F U ) 进行了全面的比较。 总之，本文在分析研究
6、数据副本管理机制的基础上，对副本管理中的副本 选择和副本替换分别进行了优化，并在相应的模拟器中进行了实验仿真，实验 表明本文提出的策略在某些方面具有一定的优越性。 关键字：数据密集型计算，副本选择，副本替换，W S C P ，L I R S R e p l i c am a n a g e m e n ti sak e yt e c h n o l o g yi nd a t a - i n t e n s i v ea p p l i c a t i o n ，i tc a n n o t o n l yi m p r o v et h er e l i a b i l i t ya n d
7、a v a i l a b i l i t yo fd a t ai nd a t a - i n t e n s i v ee n v i r o n m e n t ， s t i l lc a i le f f e c t i v e l yr e d u c et h en e t w o r kd e l a ya n di n c r e a s el o a db a l a n c ei nn e t w o r k T h e r e f o r e ，t oo p t i m i z et h er e p l i c am a n a g e m e n ti sa l
8、le f f e c t i v ew a yt oi m p r o v et h e Q u a l i t yo fS e r v i c e ( Q o S ) o fd a t a - i n t e n s i v ea p p l i c a t i o n s B a s e do nt h es t u d i e so nr e p l i c am a n a g e m e n ti nd a t a - i n t e n s i v ec o m p u t i n g e n v i r o n m e n t ，a n dt h ea n a l y s i s
9、o ft h er e s e a r c hs t a t u sa th o m ea n da b r o a d ，t h i st h e s i s d e e p l yr e s e a r c h e sr e p l i c as e l e c t i o na n dr e p l i c ar e p l a c e m e n ti nr e p l i c am a n a g e m e n t ， a n dp r o p o s ec o r r e s p o n d i n go p t i m i z a t i o ns t r a t e g y
10、T h et h e s i sm a i n l yi n c l u d e st w o a s p e c t sa sf o l l o w i n g ： ( 1 ) O p t i m i z a t i o n f o r r e p l i c as e l e c t i o n ：A c c o r d i n g t ot h ec o m m e r c i a l c h a r a c t e r i s t i c si nc l o u dc o m p u t i n g , b a s e do nW e i g h t e dS e tC o v e r
11、 i n gP r o b l e m ( W S C P ) ，t h i st h e s i sp r o p o s e sac o s t - a w a r er e p l i c as e l e c t i o na p p r o a c h ，s u c ht h a ti t C a ns e l e c tl o wc o s tr e p l i c a sa n dr e d u c ed a t at r a n s f e rt i m es i m u l t a n e o u s l yt oi m p r o v e e f f i c i e n c
12、 yo fa p p l i c a t i o n s ，a n da l s oe x t e n dt h eC l o u d S i mf r o mt w oa s p e c t si n c l u d i n g f i l et r a n s f e r r i n ga n dd y n a m i cb a n d w i d t h ，a n dv e r i f yo u ra l g o r i t h mi n t h et h e s i s ( 2 ) O p t i m i z a t i o nf o rr e p l i c ar e p l a c
13、 e m e n t ：B a s e do nt h es t u d i e so ft r a d i t i o n a l r e p l i c ar e p l a c e m e n ta l g o r i t h m s ，f o rt h ei n a b i l i g yo fL R Ui nw e a kl o c a l i g ya n dt h e w e a k n e s s e so ft r a d i t i o n a lr e p l a c e m e n ts t r a t e g i e s ，e n l i g h t e n e db
14、 yt h eL I R S ( L o w I n t e r - r e f e r e n c eR e c e n c y ) c a c h er e p l a c e m e n tp r o p o s e db yX i a o d o n gZ h a n g , w h oi sa c l a i rp r o f e s s o ri nO h i oS t a t eU n i v e r s i t y , t h i st h e s i si m p l e m e n t s 勰L I R S b a s e d r e p l i c ar e p l a
15、c e m e n ts t r a t e g y , e x t e n d s t h e O p t o r S i mb a s e d ，o nL I R S ，a n d c o m p r e h e n s i v e l yc o m p a r e st h i ss t r a t e g yw i t ho t h e rs t r a t e g i e s ( L R U ，M R U ，L F U ， T h ee x p e r i m e n t sr e s u l t ss h o wt h a tt h es t r a t e g i e sp r
16、o p o s e di nt h i st h e s i sh a sc a 眺 a d v a n t a g e si ns o m ea s p e c t s K e y w o r d s ：D a t a - i n t e n s i v eC o m p u t i n g , R e p l i c aS e l e c t i o n , R e p l i c aR e p l a c e m e n t ， w s c p , L I R S I 第1 章绪论1 1 1 研究背景1 1 2 研究进展与现状2 1 3 研究意义3 1 4 课题背景及来源4 1 5 论文组织结构
