《云平台监控系统的研究与实现.pdf》由会员分享，可在线阅读，更多相关《云平台监控系统的研究与实现.pdf（79页珍藏版）》请在金锄头文库上搜索。
1、南开大学 硕士学位论文 云平台监控系统的研究与实现 姓名：孙杰 申请学位级别：硕士 专业：计算机软件与理论 指导教师：邵秀丽 2012-05 中文摘要 中文摘要 随着云计算技术的推广，涌现了许多优秀的云计算平台，其聚合了大量硬 件资源和软件资源，并采用虚拟化技术实现动态伸缩服务量，按需提供服务。 为确保云平台正常运转，必须对整个云架构实施多方位监控，而普通和网格监 控软件都有着自身的局限性和适用范围，不适用于云平台，所以本文研究并实 现云平台下的监控系统，解决云平台资源运行和用户使用的监控，并改进增强 了系统自配置和容错性，具有重要意义。 本文首先进行了云平台监控的需求分析，给出总体功能设计和
2、各模块设计， 并基于G a n g l i a 设计了包含监控资源层、监控采集层、监控汇集层、数据持久层、 用户交互层的五层架构模型，并具体分析了每层的实现技术和设计过程，对不 同监控对象采取不同传输策略，以保证低干扰、实时、准确传输，同时设计实 时展示库和监控分析库，以保证监控数据实时展示和深度分析。 之后对云平台中物理资源、虚拟资源、服务资源提供多维度的监控和资源 利用率分析进行研究，并根据分析实现监控预警和故障统计，实现数据稀释， 以达到监控和证明云平台的正常运行，检测出云平台瓶颈和故障，为运营者均 衡负载提供信息依据的目的；同时基于H a d o o p 运行机制设计了用户存储监控及
3、分析组件和用户计算监控和分析组件用于监控用户对云存储服务和计算服务的 使用，以增强云端透明度，提高用户对云服务商信任度，并根据监控结果进行 计费管理。 本文还针对使用的层级监控结构研究实现了监控系统的自注册机制和节点 动态发现机制，以实现云端节点接入自配置以及采集参数和频率的配置，降低 系统部署难度，支撑云平台动态伸缩的特性，并基于此改进了系统容错机制， 使系统具有一定的故障自恢复能力。 最后应用以上的研究实现了一个云平台监控系统，其运行效果表明本文的 策略是有效可行的。 关键字：云平台；监控系统；用户监控；白配置；故障自恢复； A b s t r a c t 一一一 A b s t r a
4、c t W i t ht h ep r o m o t i o no fc l o u dc o m p u t i n gt e c h n o l o g i e s ，a l o to fg o o dc l o u d c o m p u t i n gp l a t f o r m sa r es p r i n g i n gu p ，w h i c ha g g r e g a t i n ga l a r g en u m b e ro f h a r d w a r e a n ds o f t w a r er e s o u r c e s ，a n du s i n g
5、v i r t u a l i z a t i o nt e c h n o l o g yt o a c h i e v ed y n a m i c s c a l a b l es e r v i c ev o l u m ea n ds u p p l y i n gs e r v i c e so n - d e m a n d I no r d e rt o e n s u r et h e c l o u dp l a t f o r mr u n n i n gt i g h t l y , i ti sn e c e s s a r yt om o n i t o rt h
6、ee n t i r ec l o u da r c h i t e c t u r e c o m p r e h e n s i v e l y , b u tg e n e r a la n d 酊dm o n i t o r i n gs o f t w a r eh a si t so w n l i m i t a t i o n s a n ds C O p eo fa p p l i c a t i o n ，S Ot h e yd o n t s u i tt ot h ec l o u dp l a t f o r m T h es t u d yt o a c h i e
7、 v ec l o u dp l a t f o r mm o n i t o r i n gs y s t e mh a sa ni m p o r t a n ts i g n i f i c a n c e F i r s t ，t h ep a p e rg i v e st h eo v e r a l lf u n c t i o n a ld e s i g na n dm o d u l ed e s i g nb a s e o nt h e n e e d sa n a l y s i so ft h ec l o u dp l a t f o r mm o n i t o
8、 t i n gs y s t e m ，t h e nt h e f i v e 。s t o r y a 】r c 尬t o c t u r em o d e lC O n t a i n i n gt h em o n i t o r i n gr e s o u r c el a y e r ，t h em o n i t o r i n gp o o l i n g l a y e r , t h em o n i t o r i n gc o l l e c t i n gl a y e r , t h ed a t ap e r s i s t e n c el a y e r
9、, t h e U S e ri n t e r a c t i o n l a y e ri sp r o p o s e dw h i c hb a s e do nG a n g l i a a n ds p e c i f i c a l l ya n a l y z ee a c ho ft h e t e c h n 0 1 0 9 i e sa n dd e s i g np r o c e s s D i f f e r e n tm o n i t o r i n gs t r a t e g yi s u s e di nd i f f e r e n t m o n i
10、t o r i n go b j e c tt oe n s u r el o wn o i s e ，r e a l t i m e ，a c c u r a t et r a n s m i s s i o n R e a l t i m e d i s p l a yd a t a b a s e ，m o n i t o r i n ga n a l y s i s d a t a b a s ea r ed e s i g n e d i no r d e rt oe n s u r e d i s p l a y i n gd a t ar e a l - t i m ea n d
11、a n a l y z i n g d a t ad e e p l y A tm es 锄et i m e ，m o n i t o r i n ga n dd a t aa n a l y s i sm u l t i d i m e n s i o n a l l y f o rt h e p h y s i c a lr e s o u r c e s ，v i r t u a lr e s o u r c e s ，s e r v i c e r e s o u r c e si nt h ec l o u dp l a t f o r ma r e r e s e a r c h
12、e di no r d e rt oa c h i e v em o n i t o r i n ga n dc e r t i f i c a t i n gt h en o r m a lr u n n i n go f t h e c l o u dp l a t f o r m ，d e t e c t i n gb o t t l e n e c k sa n df a i l u r e so ft h ec l o u dp l a t f o r m ，p r o v i d i n g i n f o 锄a t i o nt ot h eo p e r a t o rt ob
13、 a l a n c el o a db a s i s A n db a s e do nH a d o o pr u n n i n g m e c h a n i s ms o m er e l a t e dc o m p o n e n t su s e dt om o n i t o rt h eu s eo fs t o r a g es e r v i c e s ， c o m p u t i n gs e r v i c e sa n do t h e rs e r v i c e sa r ed e s i g n e d ，w h i c he n h a n c et
14、 r a n s p a r e n c y t o t h ec l o u dp l a t f o r ma n di m p r o v et h et r u s tt ot h ec l o u ds e r v i c ep r o v i d e r s ，a n dh e l p b i l l i n gm a n a g e m e n ta c c o r d i n gt h em o n i t o r i n g r e s u l t s T h i sp a p e ra l s od i s c u s s e ss e l f - r e g i s t
15、r a t i o n a n dn o d ed y n a m i cd i s c o v e r y m e c h a I l i s mf l o rt l l et r e ec o n t r o ls t r u c t u r eo ft h em o n i t o r i n gs y s t e m t oa c h i e v e I I A b s t r a c t s e l f - c o n f i g u r a t i o na n dr e d u c i n gt h ed i f f i c u l t yo fs y s t e md e p
16、l o y m e n t ，s u p p o r t i n gt h e d y n a m i cs t r e t c h i n gc h a r a c t e r i s t i c s o ft h ec l o u d p l a t f o r m B a s e d o nt h e s e l f - c o n f i g u r a t i o n ，t h es y s t e mf a u l tt o l e r a n c em e c h a n i s mi si m p r o v e d ，S Ot h es y s t e m h a sac e r t a i nf a u l ts e l f - r e c o v e r yc a p a b i l i t y F i n a l l ya p p l y i n gt h er e s e a r c ha l la b o v e
