数据仓库技术在电力客户服务领域的应用

《数据仓库技术在电力客户服务领域的应用》由会员分享，可在线阅读，更多相关《数据仓库技术在电力客户服务领域的应用（4页珍藏版）》请在金锄头文库上搜索。

1、数据仓库技术在电力客户服务领域的应用 天津市电力公司客户服务中心 张会建吴俊峰 O前言 信息作为现代企业的宝贵资源，占据着越来越重要的地位，已经成为现代企业科学管理的基础，正确决策的 前提，有效调控的手段。能否拥有及时、准确、全面的信息已经成为衡量一个企业是否具有发展潜力的一个重要 指标。天津市电力公司经过多年的建设，深化改革，努力创新，建立了大批的计算机系统，包括用电M I S 系统、电 力客户服务系统、S C A D A 系统、人力资源系统，财务系统等，用于业务处理、实时监测和企业办公，积累了大量的 数据。这些业务系统为提高企业的工作效率，规范企业的工作行为，加强企业的工作管理起到了积极的

2、作用，为 企业的发展做出了巨大的贡献。 随着我国电力企业制度改革的不断深化以及城市电网建设的迅猛发展，电力用户对电力企业提供的电能质 量、服务质量提出了更高的要求。打破行业垄断，引入竞争机制，实行电力市场商业化运营的新机制是我国电力 工业发展的必然趋势。在这样的形势下，正确及时的决策将成为是电力企业生存和发展最重要的环节。天津市 电力公司客户服务中心利用数据仓库技术，在现有系统平台和数据积累的基础上，建立了一套客户服务分析决策 支持系统，通过对积累在各个系统中的数据进行深度的加工和处理，多角度地分析各类生产业务数据，客户信息， 外界环境的变化等，发现其内在规律，为进一步掌握电力客户的需求、努力

3、开拓电力市场、辅助电力业务的开展和 天津地区电力系统建设起到了重要的作用。 1 数据仓库概念 典型的数据仓库应该是一个主题数据库，支持用户从巨大的运营数据存储中发现信息，支持对业务趋势进行 跟踪和响应，实现业务的预测和计划。著名的数据仓库专家w H I n m o n 在其著作( B u i l d i n gt h eD a t aW a r e h o u s e ) ) 一书中给予如下描述：数据仓库( D a t aW a r e h o u s e ) 是一个面向主题的( S u b j e c tO r i e n t e d ) 、集成的( I n t e g r a t e )

4、、相对 稳定的( N o n V o l a t i l e ) 、反映历史变化( T i m eV a r i a n t ) 的数据集合，用于支持管理决策。首先，数据仓库用于支持 决策，面向分析型数据处理，它不同于企业现有的业务系统( 操作型数据库) ；其次，数据仓库是对多个异构的数据 源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。 根据数据仓库概念的含义，数据仓库有以下四个特点： ( 1 ) 面向主题。业务系统数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离，而数据仓库 中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，

5、是指用户使用数据仓库进行决策时所关心的 重点方面，一个主题通常可能与多个业务系统相关。 ( 2 ) 集成性。面向事务处理的业务系统通常与某些特定的应用相关，数据库之间相互独立，并且也可能是异 构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到 的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 ( 3 ) 相对稳定性。业务系统中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供 企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期 保留，也就是数据仓库

6、中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 ( 4 ) 反映历史变化。业务系统主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信 息，系统记录了企业从过去某一时点( 如开始应用数据仓库的时点) 到目前的各个阶段的信息，通过这些信息，可 以对企业的发展历程和未来趋势做出定量分析和预测。 2 企业数据仓库系统的总体结构 企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只 有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意 义。而把信息加以整理归纳和重组，并及时

7、提供给相应的管理决策人员，是数据仓库的根本任务。因此，可以说 2 5 7 数据仓库建设不是一个工程，而是一 t i 曰 口 口 田 数据潭 个过程。构建一个数据仓库可以用下图描绘出来。 ；。u 巴! ! 苎竺l曹端工具 l t t l t i 市 ： o t , A P m 务- m 数据仓库系统体系结构 皿t t 1 日- r J I , 报表工具 皿分析工具 岛雷跳舡具 ；皿 从上图中可以看出，一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、O L A P 服务器以及前端 工具和应用四个部分： ( 1 ) 数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和

8、外部信息。内部信 息包括积累在关系型数据库中的各业务系统的业务处理数据和文档数据。外部信息包括各类法律法规、市场信 息和竞争对手的信息等等。 ( 2 ) 数据的存储与管理：是整个数据仓库系统的核心。在现有各业务系统的基础上，对数据进行抽取、清理 和转换，并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库元数据 ( 包括数据仓库的数据字典、记录系统定义、数据转换规则、数据抽取频率以及业务规则等信息) 。数据仓库的管 理包括数据的安全、归档、备份、维护、恢复等工作。 ( 3 ) O L A P 服务器：O L A P 是数据仓库系统的主要应用，它是使分析人员、管

9、理人员或执行人员能够从多角度、 多层次地对信息进行分析，并发现趋势，从而获得对数据的更深入了解的一类软件技术。O L A P 的目标是满足决 策支持或者满足在多维环境下特定的查询和报表需求，它的技术核心是“维”这个概念。根据存储数据的方式不 同，较为通用的O L A P 实现方法有三种：R O L A P 、M O L A P 和H O L A P 。R O L A P 是基于关系数据库的O I A P 实现，以 关系结构进行多维数据的表示和存储；M O L A P 是基于多维数据组织的O L A P 实现方法，多维数据在存储中将形 成“立方体( C u b e ) ”的结构；H O L A

10、P 是基于混合数据组织的O L A P 实现方法，底层是关系型的，高层是多维矩阵 型的。 ( 4 ) 前端工具和应用：前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基 于数据仓库或数据集市开发的应用。其中数据分析工具主要针对O L A P 服务器，报表工具、数据挖掘工具既针对 数据仓库，同时也针对O L A P 服务器。 3 天津电力客户分析决策支持系统的构建 2 0 0 3 年元月，采用数据仓库技术的天津电力客户分析决策支持系统开始建设。依照数据仓库系统建设的原 则，整个系统的逻辑设计包括四大部分：源数据、数据采集、数据仓库( D W ) 和分析工具。逻辑结构见下

11、图所示： 系统的源数据来源于多个数据源。数据源包括客户服务中心的内部数据，如客户服务技术支持系统和业务 支持系统，还包括外部系统的数据如用电M I S 、民电M I S 、S C A D A 系统。同时也包括一些来源于系统外的数据如 气象数据和各类文档。 数据仓库的管理包括数据抽取管理( E T L ) 、元数据管理、建模管理等。通过数据建模，确定从源数据到数据 仓库的数据抽取、清理和转换过程，维数的划分以及确定在数据仓库中的物理存储结构。对存储数据模型，定义 数据结构、转换规则、仓库结构、控制信息等的管理构成了元数据的集合。对整个数据仓库的管理通过归档、备 份、维护、恢复等技术手段和安全策略

12、来实现。 数据仓库的存储形式选用关系型数据库。由于数据仓库含大量的数据，所以要求选用的关系型数据库软件 系统要有高速的性能。 分析工具包括查询工具，报表工具、可视化工具和多维分析工具( O L A P 工具) 。 2 5 8 分析工具 天津电力客户分析决策支持系统的逻辑结构图 3 1 系统的硬件 系统硬件由主机系统、存储系统、备份系统三部分组成。 天津电力客户分析决策支持系统硬件结构图 3 1 1 主机系统 主机系统分为数据仓库服务器、O L A W E T L 服务器和W E B 服务器。 数据仓库服务器采用I B M 的P 系列深蓝M 8 5 ( P 6 6 06 M 1 ) 小型机。该服

13、务器用于存储经过E T L 服务抽取和 转换后的按主题划分的数据，同时负责数据仓库数据的管理维护。 2 台O L A P E T L 服务器采用D E L L 的P o w e r E d g e6 6 5 0P C 服务器。O L A P E T L 服务器同时安装E T L 服务和 O L A P 服务，通过E T L 服务对客户服务技术支持系统、业务支持系统、用电M I S 、民电M I S 和S C A D A 系统等的数据 进行抽取、转换并装载到数据仓库服务器中。O L A P 服务实现面向主题的分析处理、向客户端调度和发布分析结 果，O L A P 支持R O L A P 、M O

14、 L A P 和H O L A P ，并通过C o g n o s 软件实现访问的负载均衡。 W E B 服务器采用D E L L 的P o w e r E d g e2 6 5 0P C 服务器。W E B 服务器用于接收O L A P 服务器发布的各类格式 的页面，并提供客户端的认证管理和对页面的访问。 3 1 2 存储系统 存储系统南一台磁释阵列绢成。磁盘阵列采用的是I B M 的7 1 3 3D 4 0 磁盘阵列，配置1 2 块3 6 4 G 的磁盘做 2 5 9 一lfLr|l R A I D5 使用。随着数据量的增加，可以对磁盘阵列进行扩展，最大可以扩到5 8 2 G ( 1 6

15、块* 3 6 4 G ) ，若通过堆栈使 用，可以使存储容量达到T B 级。存储系统用于存储数据仓库的主题数据。 3 1 3 备份系统 备份系统由一台备份服务器和一台磁带机组成。 备份服务器采用D E L L 的P o w e r E d g e2 6 5 0P C 服务器。备份服务器根据数据仓库数据的老化策略实现对数据 仓库数据的备份。 磁带库采用S T K 的1 2 01 1 0 ，可以支持1 0 盒单盒1 0 0 G 容量的磁带使用。 3 2 系统的软件 系统的软件分为操作系统平台和用于实现数据仓库技术的软件。 3 2 1 操作系统平台 数据仓库服务器选用I B M 小型机版本一A I

16、X4 3 3 。E T L 、O L A P 、W e b 和备份服务器均采用W i n d o w s2 0 0 0 S e r v e r o 客户机的操作系统可以支持W i n d o w s9 8 x P w i n d o w s 2 0 0 0P r o f e s s i o n a l 。 3 2 2 数据仓库软件 数据抽取工具采用S a g e n t 公司提供的S a g e n tD e s i g nS t u d i o 、S a g e n tA u t o m a t i o n 和S a g e n tA d m i n 。 数据仓库的存储平台采用了O r a c l e 公司的O r a c l e9 i 企业版。 数据展现工具方面，O L A P 工具采用C o g n o s 公司提供的P o w e r P l a y 。 数据查询即席报表生成工具采用C o g n o s 公司的I m p r o m p t u 。 企业门户采用C o g n o s 公司的U p f