《数据立方体技术在网络数据流处理中的应用》由会员分享，可在线阅读，更多相关《数据立方体技术在网络数据流处理中的应用（60页珍藏版）》请在金锄头文库上搜索。
1、本学位 学位论文中 公布过的研 用过的材料 中作了明确 研究生签名 南京理 上网公布本 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：基牛 驯年驴月硼 硕t 学位论文 摘 现今互联网信息技术发展迅速，对于网络系统的攻击正向着规模化，间接化，复 杂化和分布化的形式发展。网络攻击的变化性，快速性和破坏性决定了对于网络安全 的分析和监控必须具有实时性。目前，迫切需要新技术来对大规模的网络信息系统安 全性进行实时准确的检测和分析。 本文在联机分析处理以及数据立方体研究的基础上提出了一种基于数据流的混 合数据立方体构建方法，使系统能够及时
2、响应安全形式的变化。数据立方体是数据仓 库和联机分析处理的核心概念。为了缩短查询时间，提高联机分析处理系统的查询性 能，需要对数据立方体进行预计算，因此，如何降低数据立方体的存储空间和提高查 询性能是本文研究的重点。 论文首先对数据仓库和联机分析处理技术进行了介绍，并讨论了数据立方体的相 关概念和模型；其次对数据立方体的预计算进行了研究，通过对多种数据立方体物化 线路图研究，给出了数据立方体有效计算的几种优化技术，并提出了相关数据立方体 的预计算算法；然后论文研究了基于网络数据流的数据立方体，提出了基于D w a r f 结构的多维数据流立方体框架S t r e a m D w a r f 的
3、数据流立方体部分物化方法，并给出相 应的计算算法；最后论文采用了S t a r O L A P 平台构建了网络安全分析系统，使其实现 了对大规模网络安全的检测数据进行实时和多层次的分析。 文章最后总结了本文的工作，并指出了进一步的研究方向。 关键词：数据仓库，O L A P ，预计算，数据立方体物化 A b s t r a c t硕士学位论文 A b s t r a c t T o d a yt h er a p i dd e v e l o p m e n to fI n t e m e ti n f o r m a t i o nt e c h n o l o g y , n e t w
4、o r ks y s t e m sf o r t h ea t t a c ki st o w a r dl a r g e s c a l e ，i n d i r e c t ，c o m p l i c a t e da n dd i s t r i b u t i o no ft h ef o r m so f d e v e l o p m e n t T h ec h a n g i n gn a t u r eo fn e t w o r ka t t a c k s ，d e t e r m i n et h es p e e da n dd e s t r u c t i
5、v e a n a l y s i sf o rn e t w o r ks e c u r i t ya n dm o n i t o r i n gm u s tb er e a lt i m e T h e r ei sa nu r g e n tn e e df o r n e wt e c h n o l o g yt ol a r g e - s c a l en e t w o r ki n f o r m a t i o ns y s t e ms e c u r i t yi nr e a lt i m ea n d a c c u r a t ed e t e c t i
6、o na n da n a l y s i s I nt h i sp a p e r , o n l i n ea n a l y t i c a lp r o c e s s i n ga n dd a t ac u b e sb a s e do nt h es t u d yp r o p o s e s ah y b r i dd a t as t r e a mb a s e do nd a t ac u b ec o n s t r u c t i o nm e t h o d ，t h es y s t e mC a nc h a n g et h e f o r mo ft
7、i m e l yr e s p o n s et os e c u r i t y D a t ac u b ei sad a t aw a r e h o u s ea n do n l i n ea n a l y t i c a l p r o c e s s i n go ft h ec o r ec o n c e p t s I no r d e rt o s h o r t e nt h eq u e r yt i m e ，o n l i n ea n a l y t i c a l p r o c e s s i n gs y s t e mt oi m p r o v e
8、q u e r yp e r f o r m a n c e ，y o un e e dt ob ep r e c o m p u t e dd a t ac u b e ， t h e r e f o r e ，h o wt or e d u c et h ed a t ac u b es t o r a g es p a c ea n di m p r o v eq u e r yp e r f o r m a n c ei st h e f o c u so ft h i sp a p e r F i r s t l y , t h e d a t aw a r e h o u s ea
9、 n do n l i n e a n a l y t i c a lp r o c e s s i n gt e c h n i q u e sw e r e i n t r o d u c e da n dd i s c u s s e dt h er e l a t e dc o n c e p t sa n dd a t ac u b em o d e l ；f o l l o w e db ya p r e c o m p u t e dd a t ac u b eh a sb e e ns t u d i e db yav a r i e t yo fc i r c u i td
10、i a g r a mo ft h ed a t ac u b e m a t e r i a l i z a t i o ni sg i v e nk i n d so fc a l c u l a t i o nd a t ac u b ee f f e c t i v eo p t i m i z a t i o nt e c h n i q u e s ， a n dp u tf o r w a r dr e l e v a n tp r e c o m p u t e dd a t ac u b ea l g o r i t h m s ；a n dt h e s i sb a s
11、e do nn e t w o r k d a t as t r e a md a t ac u b e ，t h es t r u c t u r ei sp r o p o s e db a s e do nm u l t i d i m e n s i o n a ld a t af l o w D w a r fc u b ef r a m eS t r e a m D w a r f p a r to ft h ef l o wo fd a t ac u b em a t e r i a l i z a t i o nm e t h o d ，a n d t h ec o r r e
12、 s p o n d i n gc o m p u t a t i o n a la l g o r i t h m s ；f i n a l l y , t h ea r t i c l eu s e sS t a r O L A Pp l a t f o r mt o b u i l dan e t w o r ks e c u r i t ya n a l y s i ss y s t e m ，t or e a l i z et h ed e t e c t i o no fl a r g e s c a l en e t w o r k s e c u r i t yd a t ai
13、 nr e a lt i m ea n dm u l t i l e v e la n a l y s i s F i n a l l y , t h i sa r t i c l es u m m a r i z e st h ew o r k a n de x p e n s eo ff u r t h e rr e s e a r c hd i r e c t i o n s K e yw o r d s ：D a t aW a r e h o u s e ，O L A P , P r e c o m p u t a t i o n ，D a t aC u b et om a t e r
14、 i a l i s e I I 2 2 联机分析处理( O L A P ) 技术8 2 2 1O L A P 技术基本概念8 2 2 2O L A P 的基本分析操作9 2 3 数据立方体综述10 2 3 1 数据立方体的相关概念1 0 2 3 2 数据立方体形式化描述。1 1 2 4 数据立方体模型l2 2 5 本章小结l5 3 数据立方体预计算。16 3 1 数据立方体的物化l6 3 1 1 物化视图与数据立方体1 6 3 1 2 数据立方体的物化方法1 7 3 2 数据立方体的计算1 9 3 2 1 多路数据聚集的立方体计算1 9 3 2 2B U C 立方体计算2 l 3 2 3S t a r - C u b i n g 立方体计算。2 4 3 2 4 数据立方体的高维O L A P 预计算2 5 3 3 本章小结2 7 l I I 目录 硕士学位论文 4 基于网络数据流的数据立方体研究2 8 4 1 网络数据流的O L A P 处理2 8 4 1 1 数据流联机分析处理的特点2 8 4 1 2 数据流立方体的部分物化2 9 4 2 网络数据流的立方体模型3 0 4 2 1 数据流立方体的相关定义3 0
