《基于dfs的构建服务器集群技术的研究与实现》由会员分享，可在线阅读，更多相关《基于dfs的构建服务器集群技术的研究与实现（70页珍藏版）》请在金锄头文库上搜索。
1、分类号 U DC 学校代码：1 0 6 1 6 学号：2 0 0 8 0 2 0 4 7 0 成都理工大学硕士学位论文 基于D F S 的构建服务器集群技术的研究与实现 杨勇 指导教师姓名及职称王华军教授苗放教授 申请学位级别硕士专业名称计算机应用技术 论文提交日期2 0 11 年0 4 月论文答辩日期2 0 11 年0 5 月 学位授予单位和日期成都理工大学(年月) 答辩委员会主席 评阅人 2 0 11 年0 5 月 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究
2、成果，也不包含为获得成都理王太堂或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 和勿 I 知t 年岁月弓口日 学位论文版权使用授权书 本学位论文作者完全了解盛都理王太堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权盛都堡王盔堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 学位论文作者导师签 年月日 摘
3、要 基于D F S 的构建服务器集群技术的 研究与实现 作者简介：杨勇，男，1 9 7 8 年0 6 月生，师从成都理工大学王华军教授和 苗放教授，2 0 1 1 年0 6 月毕业于成都理工大学计算机应用技术专业，获得工学硕 士学位 摘要 我们当前所处的时代是一个信息大爆炸的时代，由于信息技术的发展，特别 是互联网的出现，产生并要处理的数据已经达到了P B ( 1 P B = 1 0 2 4 T B ) 级、E B ( 1 E B _ 1 0 2 4 P B ) 级、甚至更多，这种级别的数据我们称之为海量级别的数据，随 之而来的问题就是如何对这些海量数据进行存储，以及如何保证海量数据的高可 用
4、性。虽然这些问题在以前都已经有比较成熟的解决方案，但是当数据达到海量 的级别后，以前的方法无力应对这一变化，所以我们必须研究新的方法来解决这 些问题。数据到达海量级别以后，以上问题唯一可行的解决办法就是使用分布式 文件系统构建服务器集群，利用分布式服务器集群技术来解决由海量数据所带来 的一系列问题。 本文首先对各种主流的分布式文件系统进行研究，在分析了各种主流的分布 式文件系统的架构、优缺点及适用性之后，选取一款适合的分布式文件系统来搭 建分布式服务器集群。本文研究了基于此分布式文件系统的分布式服务器集群搭 建技术，采用L i n u x 操作系统和X e n 虚拟机软件搭建整个集群。在上述研
5、究工作 的基础上，实现了服务器集群的成功部署。 在分布式文件系统中，文件存储分配的负载均衡算法是非常重要的一个部 分，为了优化系统，提高系统性能，本文对选取的分布式文件系统的负载均衡算 法进行了研究，分析了原有算法的不足，针对海量数据存储的实际应用需求提出 了解决方案，对该算法进行了改进。改进后的算法经过测试验证，达到了改进要 求，使系统性能得到了优化。 本文取得以下成果： 1 本文研究了各种主流的分布式文件系统，对每个分布式文件系统的架构、 适用环境、优缺点等都做了深入的研究，选取了合适的系统来搭建本文的实验环 境。 2 研究了分布式文件系统的工作原理，掌握了分布式文件系统的各种工作 机制。
6、 成都理工大学硕士学位论文 3 提出一个基于分布式文件系统的数据存储解决方案，搭建一个基于L i n u x 和x 明虚拟机软件的实验平台，为以后进一步的研究打下了基础。 4 研究了M o o s e F S 分布式系统的文件分配负载均衡算法，提出了改进算法。 经过实验数据的对比，改进算法达到了预期的效果。 关键字：分布式文件系统服务器集群存储 U A b s t r a c t T h er e s e a r c ha n di m p l e m e n t a t i o no fs e r v e rc l u s t e r c o n s t r u c t i o nb a s
7、 e do nD F S I n t r o d u c t i o no ft h ea u t h o r ：Y a n gy o n g ，m a l e ，w a sb o r ni nJ u l y , 19 7 8w h o s et u t o r w a sP r o f e s s o rW a n gH u a j u na n dP r o f e s s o rM i a o F a n g H eg r a d u a t e df r o mC h e n g d u U n i v e r s i t yo f T e c h n o l o g yi nC o
8、m p u t e rS o f t w a r ea n dT h e o r yo f a p r o f e s s i o n a lm a j o r a n dW a sg r a n t e dt h eM a s t e rD e g r e ei nJ u n e ，2 011 A b s t r a c t W en o wl i v ei na l le r ao fi n f o r m a t i o ne x p l o s i o n , t h ed e v e l o p m e n to fi n f o r m a t i o n t e c h n o
9、l o g y , p a r t i c u l a r l yt h eb i r t ho fI n t e r n c t ，g e n e r a t e da n dp r o c e s s e dd a t a h a s r e a c h e daP B ( 1 P B = 1 0 2 4 T B ) ，E B ( 1 E B = 1 0 2 4 P B ) o re v e nm o r e ，w ec a l lt h el e v e l o fd a t am a s s i v ea m o u n to fd a t a , t h eq u e s t i o
10、 nf o l l o w e di sh o wt h e s em a s sd a t as t o r a g e a n dh o wt oe n s u r eh i 曲a v a i l a b i l i t y A l t h o u g ht h e s ep r o b l e m sh a v eb e e nr e s o l v e di n t h ep a s ty e a r s ，b u tw h e nt h ed a t ar e a c h e st h el e v e lo fm a s s ，t h ep r e v i o u sm e t h
11、 o d sc a n n o tc o p ew i t ht h i sc h a n g e , w em u s ts t u d yn e ww a y st os o l v et h e s ep r o b l e m s A f t e rt h e d a t ar e a c h e st om a s sl e v e l ，t h e s ep r o b l e m sC a no n l yb er e s o l v e db yu s i n gad i s t r i b u t e d f i l es y s t e mt ob u i l ds e T
12、 v e rc l u s t e r s ，u s i n gad i s t r i b u t e ds e r v e rc l u s t e rt e c h n o l o g yt o a d d r e s st h em a s s i v ed a t aa r i s i n gf r o mt h es e r i e so f p r o b l e m s T h i sa r t i c l ef i r s tm a i n s t r e a md i s t r i b u t e df i l es y s t e m sr e s e a r c h
13、，a f t e rt h ea n a l y s i so f t h em a i n s t r e a mo ft h ed i s t r i b u t e df i l es y s t e ma r c h i t e c t u r e , a d v a n t a g e s ，d i s a d v a n t a g e s a n da p p l i c a b i l i t y , w es e l e c tad i s t r i b u t e df i l es y s t e mt ob u i l dO u rD i s t r i b u t
14、e ds e r v e r c h s t e r I nt h i sp a p e r , w es t u d i e dh o wt ob u i l dad i s t r i b u t e ds e r v e rc l u s t c n n g t e c h n o l o g yb a s e do nt h i sd i s t r i b u t e df i l es y s t e m ，u s i n gt h eL i n u xo p e r a t i n gs y s t e ma n d X e nv i r t u a lm a c h i n e
15、s o f t w a r et ob u i l dt h ee n t i r ec l u s t e r T h i sp a p e ra l s os t u d i e dt h e d i s t r i b u t e df i l e s y s t e mi n s t a l l a t i o n a n dc o n f i g u r a t i o n t e c h n o l o g y , o p e r a t et h e d i s t r i b u t e df i l es y s t e mn o r m a l I nt h es t u
16、d yb a s e do nt h ew o r kt oa c h i e v et h e s u c c e s s f u ld e p l o y m e n to ft h eS e l “ V e rc l u s t e r I nad i s t r i b u t e df i l es y s t e m ，f i l es t o r a g ea l l o c a t i o nl o a db a l a n c i n ga l g o r i t h mi sa v e r yi m p o r t a n tp a r t ，i no r d e rt oo p t i m i z et h es y s t e m ，i m p r o v es y s t e mp e r f o r m a n c e ， t h i sp a p e rs e l e c t e dad i s t r i b u t e df i l es y s t e ml o a db a l a n c i n ga l
