一种基于主成分分析的综合网管系统设计及实现

《一种基于主成分分析的综合网管系统设计及实现》由会员分享，可在线阅读，更多相关《一种基于主成分分析的综合网管系统设计及实现（5页珍藏版）》请在金锄头文库上搜索。

1、一 运营创新论坛 簟 誓鬻叠 一薯誊蠹一 -_ 一譬曩 _ 誊 叠 一种基于主成分分析的综合网管 系统设计及实现 孔祥 云 ， 初铁 男 ( 中国联合 网络通信有 限公 司网络分公 司北京 1 0 0 0 3 3 ) 摘 要 ： 在大数据 时代 。 能否有效利用数据 已经成为决定运 营商竞 争力 的重要 因素 。 当前运营商对 网络数 据分 析 的主要方 法是基于数据仓库 进行联机分析处 理( O L A P ) 。O L A P的性能严重依赖数据模 型的预先定义 ， 其无 法对业务 和状态实时变化 的现有网络情况进行 及时有效 的跟踪 ， 针对这一 问题提 出了一种基 于主成分分析 的 网络

2、数据挖 掘方法 ， 并 通过对实 际网络数据 的分析 、 比较 验证 了该方法 的有效性 。 关键词 ： 综合 网管 ； 大数据 ； 主成 分分析 ； 数 据挖掘 d o i ： 1 0 3 9 6 9 j i s s n 1 0 0 0 0 8 0 1 2 0 1 3 1 2 0 2 0 De s i g n a n d I mp l e me n t a t i o n o f a n I n t e g r a t e d Ne t wo r k M a n a g e me n t S y s t e m Ba s e d o n Pr i n c i p a l Co mp o n

3、e n t An a l y s i s Ko n g Xi a n g y un ，Ch u Ti e n a n ( C h i n a U n i t e d N e t w o r k C o m m u n i c a t i o n s G r o u p C o ， L t d ， B e i j i n g 1 0 0 0 3 3 ， C h i n a ) Ab s t r a c t ： I n t h e b i g d a t a e r a ， e ff i c i e n t u s i n g o f d a t a h a s b e c o me a n i

4、mp o r t a n t f a c t o r i n d e t e r mi n i n g t h e c o mp e t i t i v e n e s s o f o p e r a t o r s C u r r e n t l y t h e ma i n me t h o d f o r n e t w o r k o p e r a t o r s i n d a t a a n a l y s i s i s OL AP b a s e d o n d a t a w a r e h o u s e As t h e p e r f o r ma n c e o f

5、 OL AP a n a l y s i s r e l i e s h e a v i l y o n p r e - d e f i n e d d a t a mo d e l ，i t S d i f fi c u l t for the s y s t e m t r a c k t h e r e a l t i me c h a n g e s o f wi r e l e s s n e t w o r k ， wh i c h c a u s e t h e c u r r e n t n e t w o r k ma n a g e me n t s y s t e m a

6、lwa y s d o e s n t me e t t h e a c t u a l n e e d s o f o p e r a t o r s A me t h o d t o s o l v e t h e a b o v e me n t i o n e d p r o b l e m b a s e d o n p ri n c i p al c o mp o n e n t a n a l y s i s wa s p r e s e n t e d a n d t h e i mp l e me n t a t i o n e x a mp l e a n d the c

7、o mp a ri s o n o f t h e me t h o d w e r e g i v e n Ke y wo r d s ：i n t e g r a t e d n e t w o r k ma n a g e me n t ，b i g d a t a ，p ri n c i p a l c o mp o n e n t a n a l y s i s ， d a t a mi n i n g 1 引言 随着网络规模的不断扩展 目 前网络管理系统中的数 据规模正在经历着“ 爆炸性” 增长， 如何有效利用这些数据 和网络并利用数据中的信息辅助决策。 已经成为运营商迫 切需要解

8、决的问题； 另一方面， 随着 3 G P P在L T E中提出 自组织网络( s e l f - o r g a n i z e d n e t w o r k ， S O N ) 的概念， 未来的网 络维护、 优化、 升级等工作也将越来越多地依靠网络数据 自 发实现， 这给运营商对数据的处理和运用能力提出了更 高的要求。 在这种情况下， 各大运营商纷纷建立综合网管平台， 实现了对网络数据的有效采集和规范化存储， 并开始针对 数据中的信息进行数据挖掘。由于网络中的数据具有时 变、 海量、 非结构化等特点， 综合网络主要依靠数据仓库进 行搭建。同时，基于数据仓库的特点，联机分析处理 ( o n

9、1 i n e a n a l y t i c a l p r o c e s s i n g ， O L A P )成为综合网管中数据 挖掘的主要手段。 联机分析处理的概念最早由关系数据库之父C o d d E F 于 1 9 9 3 年提出。C o d d 认为， 传统基于S Q L对大数据库的 简单查询已经不能满足用户分析的需求。 用户的决策分析 需要对关系数据库进行大量计算才能得到结果而O L A P 可以通过多维星型或雪花型模型实现O L A P“ 立方体” ， 使 得庞大的记录集合可以被迅速、 高效地概括、 分类、 查询和 分析。因此， 以O L A P 为核心的数据存储和分析工具

10、逐渐 成为当前数据挖掘工具的主流。 然而， 多维O L A P立方体的主要缺点是不够灵活。立 方体是通过预先将关系型数据表连接构成同定、 特定主题 的结构构建的。由于实际网络的业务灵活多变， 导致业务 模型经常随之发生变化， 同时由于不同地区的业务特点有 着较大的区别 在系统实际运行时， O L A P的性能通常很难 达到预期水平。 O L A P 对数据准确性有着较高的要求 数据中的噪音 和错误对 O L A P的准确性有着较为严重的影响。因此， O L A P对源数据的准确性、 数据抽取艏 洗 转换处理的有效 性都有较高的要求 这不仅提高了计算复杂度 也在很大 程度上提高了数据分析系统的构

11、建难度和成本。 本文针对上述问题提出了一种基于主成分分析的电 信网络数据挖掘方法，通过数据压缩去除数据中的噪音， 最大程度地提取数据中蕴含的各种信息， 继而提高数据挖 掘的效率以及算法的自适应性。最后， 通过对网络中实际 数据的分析， 结合对比传统O L A P方法的性能， 证明本文 所提方法能有效提升综合网管的性能。 2 综 合网管数据分析 的现 状及 问题 O L A P可以使网络管理人员对网络建立起有效的模 型， 从而大大提高网络管理人员管理网络的效率。 O L A P 基 于大量的数据分组和表问关联 使得网络管理人员可以不 去探究网络事件和数据背后的原因， 而把注意力放在数 据之间的相

12、关关系上， 实现了运营商网络管理水平的显 著提高。 O L A P 通常基于数据仓库，通过对数据仓库中的数据 进行多维分析获取数据中的相关信息。其分析过程如下： 首先根据数据分析的要求， 通过预先设定的模型将数据构造 成数据立方体， 继而采用上卷、 下钻、 旋转等数据分析方法获 取数据中的相关性， 最后将分析得到的结果返回给用户。 O L A P的核心是数据立方体的构建。为了准确地从数 据中获取信息， 需要采用多维方式组织和处理数据， 而数 据立方体就是这样一种数据的组织和呈现形式。 数据立方 体的模型就是以数据中多维模式中的一些属性作为分析 数据的维度， 通过分析不同维度之间的关联获取数据中

13、的 信息。数据立方体的形式如图1 所示。 时 间 维 度 图 1 OL AP 中 的数 据 立方 体 模 型 然而， 在实际应用中， 由于业务和网管环境常常发生 变化， 分析模型也需要实时更新。而由于模型的重新定义 和生成不仅需要大量的人力、 物力成本， 更需要花费大量 的时间。 因此， 网络管理人员对问题分析的角度总是滞后， 使得运营商花费大量成本建立的综合网管系统再次沦为 死板的日 常报表系统。 业务和环境的时变特性是构建综合网管系统的重要 挑战 ， 采用 O L A P的最大难题就是无法 自适应地调整模型 以适应业务和环境的变化。因此， 寻找一种具有 自适应能 力的数据分析方法， 成为综

14、合网管建立以及运营商数据分 析水平提升亟待解决的问题。 3基 于主成 分分析的数据分析 方法 综合网管的一个主要 目标是从采集到的数据中找到 影响关键性能指标( k e y p e r f o r m a n c e i n d i c a t o r ， K P I ) 的主要 因素， K P I 是运营商对网络质量和网络状况进行判断的 主要指标 ， 受到业务和网络环境的影响 ， 影响 K P I 的主 要因素也常常发生改变给网络管理和维护工作带来很 大的困难。 在基于 O L A P的综合网管系统中， 由于分析模型的构 建无法根据业务和网络环境的变化进行自适应调整 ， 加之 数据中的噪音也

15、常常对分析产生很大的不良影响 因此在 系统实际运行时， 其性能往往无法达到预期要求。为了解 决这一问题， 需要自适应地去除数据中噪音的影响， 并将 数据中的主要信息提取出来。主成分分析( p ri n c i p a l c o m p o n e n t a n a l y s i s P C A ) 正是这样一种数学工具。 主成分分析， 又称主分量分析， 是一种从多个变量中 挑选出少数重要变量的多元统计分析方法。 在实际的网管 数据中，每个变量都可能在一定程度上影响K P I 的变化。 因此 可以采用主成分分析的方法挑选出对 K P I 影响最大 的相关关系( 即主成分) 。基于主成分分析的思想， 简要介 绍本系统的设计思路。 在相关关系分析的过程中，首先需要构建样本空间， 通过数据分析方法分析各个参数对K P I 所造成的影响。 设 J lf F 。 ， ， 1为第i 次测量得到的样本集， 其中 - 为 K P I ， 而X 2 扬， ， 为网管系统中采集到的参数。 假设采集 到 n 组样本 ， 于是有数据集： X = ll l 2 X2 1 X2 2 x l I x 2 其中， = ， ， _ ： ， 各数据与K P I 之间的相