数据中心逻辑架构设计

《数据中心逻辑架构设计》由会员分享，可在线阅读，更多相关《数据中心逻辑架构设计（14页珍藏版）》请在金锄头文库上搜索。

1、1 数据中心逻辑架构设计1.1 数据中心逻辑架构数据抽取 、 清洗 、 整合机制数据层企业数据仓库 （ 面向企业级在线分析 、 决策支持 ）操作型数据库 （ 面向业务系统 、 O L T P ）源数据层电量采集系统 负荷控制管理系统S C A D A 系统数据抽取接口设备对照 、 数据同步生产 、 管理 M I S关系型数据数据集市 1实时 / 历史数据数据关联数据集市 2数据集市 n简单数据访问业务数据逻辑数据安全机制数据应用层报表数据挖掘 、 查询O L A P统计分析各类业务系统 、O L T P实时控制系统数据访问机制基于主题进行归纳 、 抽取 、 清洗 、 转换数据仓库元数据模型数据

2、粒度与聚集模型1.1.1 源数据层指服务于企业各业务系统的基层单元数据，这些数据支持了企业各类业务的应用，但存在数据分散、局部性强、不利于企业级的数据分析、应用；建设数据中心的目标之一便是将这些分布于各业务系统的数据进行抽取、整合，形成统一的企业数据平台；从某种意义上，这些数据可分为两种类型：各类事物的静态属性数据，譬如设备、用户、知识等数据；事物的状态的动态变化数据，譬如，电量、电压的实时测量数据；第一类数据的特点是在局部区域内是保持相对稳定的，人们更多关心的是这些数据的关联；第二类数据具有很强的“时间本性” ，它们或明确或潜在的都具有“时间标签”的属性，人们更多关注的是它们在某一时刻的值。

3、1.1.2 数据层或者说是企业数据平台、数据中心，通过对企业数据的整体规划、抽取、加工、整合，将存在于各独立系统的数据组织为一个有机的整体，使纷杂无序的数据成为企业有用信息，同时，使基于企业级的数据深层挖掘、分析成为可能；数据层负责对企业数据进行收集、加工、标准化并将之进行科学的存贮，同时，需要为上层应用提供安全、高效、方便的访问接口；如上所述，我们可以将现实世界的数据抽象为两类，基于这两类数据特征，分别采用关系型数据库譬如 Oracle 和实时数据库譬如 eDNA 进行管理，两类数据以数据的逻辑关系进行关联；为便于数据的挖掘、分析，在面向业务系统的操作型数据库上建立一组基于业务主题的数据仓库

4、、集市，可以提高数据分析的性能；进一步讲，操作型数据面向具体业务系统、联机事务处理（OLTP）等应用，而数据仓库（Data Warehouse） 、数据集市（DataMarts）为企业决策支持、联机分析处理（OLAP）等深层数据挖掘提供基础。1.1.3 应用层指基于业务需求的各类应用系统，包括企业各类业务信息管理系统、生产控制系统、现场监控系统以及对企业数据的进行分析的各类系统。1.1.4 业务数据逻辑需要提到的是，无论是对源数据层的抽取、数据层的组织还是应用层的开发，都是围绕企业数据的业务逻辑进行的；不管是具体的某项业务需求，还是更高层次的企业级分析要求，只有基于对业务逻辑准确理解、把控的设

5、计、实现才能正确达到目标。1.1.5 数据安全机制信息系统不仅需要关注数据的正确性、完整性等性能，亦必须充分考虑数据的安全性；总的来说，可以从网络层、操作系统层、数据库层、应用层等方面进行安全策略的设计；本文对数据安全策略不做详细讨论。1.2 数据中心数据架构设计1.2.1 总体数据架构如上节所述，供电企业数据可以分为关系型数据和实时型数据，关系型数据需要着重考虑数据的正确性、完整性、一致性特别数据间的关联关系等特征，一般采用 RDBMS 进行管理；而实时数据更侧重于数据的连续性和时效性，特别是数据处理事务的时效性，并且实时数据一般需要连续、高频率的采集、读写，普通关系型数据库内部的数据、事务

6、处理机制很难保证有效的管理实时数据，所以对于实时数据，需要专门的实时数据库对之进行管理，本文稍后会对实时数据库技术和产品作介绍；数据中心总体架构如下图所示：数据中心操作型数据库企业数据仓库实时 / 历史数据库实时数据历史数据中间数据生产数据分析营销数据分析服务数据分析企业决策层企业管理层面向具体主题的数据集市企业操作层数据查询 、 报表 、O L A P 、 数据挖掘数据中心架构图企业数据仓库整合 、 清洗 、 归纳后的企业信息关系数据库技术 / 商业元数据在线业务分析 、 决策支持等各类分析应用台帐数据业务流程数据数据关系数据辅助业务 、 标准数据中间结果数据关系型数据库二进制数据关联、交换

7、、通讯抽取 、 清洗 、 转换 、 移植现存业务系统数据数据预处理 、分类 、 交换实时采集根据数据属性 ， 分发到相应数据库企业业务系统O L T P首先，应对企业数据进行统一规划，建设统一的数据模型，如果技术和时间允许，最好设计完整的 CIM 模型，从而保证数据的完整性、一致性、无二义性；对于已经存在的系统，数据中心应针对不同系统建立和统一设备描述表的对照表；对于新建系统，应基于统一设备描述表建立业务系统数据库；数据中心对各业务系统提供安全的、规范的访问接口，一般来说，业务系统主动发送数据，根据数据类型，分别写入到关系型数据和实时数据库；数据中心根据实时数据库厂商提供的 API 接口，向业

8、务系统提供统一的 ADO 或 ODBC 访问接口；需要注意的是，数据在写入数据中心时，应采取一定措施对数据进行预处理，尽量消除“脏数据” ，维持中心数据的正确性和一致性；为了满足信息分析和决策支持，数据中心建立企业级数据仓库，将决策支持型数据处理从事务型数据处理中分离出来；数据按照一定的周期，从事务型数据库中导入决策支持型数据库既“数据仓库” ；数据仓库是按回答企业某方面的问题来分“主题”组织数据的；而为了提高检索等应用性能，针对特定的业务应用，数据中心建立基于某一具体主题的数据集市，组织更细化的领域数据，从而可以支持更深层次的数据挖掘；数据集市可以是物理存在的，亦可是逻辑实体；在数据仓库基础

9、上，可以对企业数据进行查询、报表、OLAP、数据挖掘和知识发现等应用；下节将对数据中心总体架构设计中涉及的一些技术元素作一简单描述。1.2.2 数据架构的功能元素1.2.2.1 实时数据库实时数据库要处理的数据都是来自生产或其相关数据，其最主要特点是连续性和实时性；连续性是指数据一直存在，只要生产过程存在，其数据就一直连续存在，如某开关检测点的电压、电流等，其数据是一个连续过程；实时性是指数据只有具有时间戳才具有意义，如说某电力检测点的电压是 380V，这个电压只有和某一个时刻对应起来才有实际的意义，否则其数据将毫无意义；同时，在实时数据库中不仅其数据和时间相关，而且其事务都必须显式定时限制，

10、系统的正确性不仅依赖于事务的逻辑结果，而且依赖于该逻辑结果所产生的时间；譬如，对某重要开关自动控制：需要连续的采集它的电压，然后判断是否正常，进行不同动作，如果超出警戒值，将自动将其闭合；如果上述事务滞后太长的时间，才判断出当前电压超出警戒值，则毫无意义；基于目标的相异，实时数据库和关系数据库相比，其实现机制有明显的区别，在数据模型及语言，数据库的结构与组织；事务的模型与特性，尤其是截止时间及软硬性；事务的优先级分派、调度和并发控制协议与算法；数据和事务特性的语义及其与一致性、正确性的关系，查询/事务处理算法与优化；I/O 调度、恢复、通信的协议与算法等等方面，实时数据库都有自身技术；本文只对

11、实时数据库技术作概要介绍；在实时数据库中，数据库是按照区域、单元、点、点参数的层次结构进行数据组织和管理的，如下图所示：系统区域区域区域单元单元单元 单元 单元 单元点点 点 点 点 点 点 点 点参数参数参数参数参数参数参数参数参数参数参数参数参数参数目前，国内外都存在较成熟的实时数据库产品，比较具有代表性的有：OSIsoft 公司的PI，InStep 公司的 eDNA，中科院软件研究所的 Agilor 等，下面以 eDNA 为例作一简单介绍；eDNA 实时数据库系统以服务目录为核心，以安全服务为外围，围绕各个服务建立起安全的网络；各个服务独立但相互协作地为客户服务，彼此不相互依附；eDNA

12、 系统分为服务器、客户端和接口三个方面，分别提供采集和存储现场实时数据、浏览和处理生产信息及数据库的通信等功能；同时，eDNA 采用全息无损压缩算法，不仅具有较高的压缩率，提高海量数据的访问性能，亦能保证数据 100%的准确；eDNA 数据库是一种基于 P2P（Peer to Peer），核心很小，可以灵活扩展的分布式实时数据库系统；eDNA 数据库系统在逻辑功能上分为服务器、客户端和接口，eDNA 服务器服务包括目录服务、安全服务、BOSS 服务、历史服务、应用服务、报警服务、PUSH 服务、数据服务和通知服务等各组件，提供现场实时数据的采集和存储；eDNA 客户端提供大量方便实用的应用工具

13、；另外，需要注意的是 eDNA 的外接接口；eDNA 接口可以分为三大类: 定制接口为集散控制系统(DCS)和可编程逻辑控制器(PLC)等控制系统提供的专用接口； 标准接口为提供支持工业标准的数据通信接口，如 OPC,Modbus，ODBC 驱动等； eDNA-API为第三方软件与 eDNA 数据库通信提供的应用程序接口；eDNA 组件逻辑结构图如下：报警信息察看A l a r m V i e w数据信息察看e L i n k图表分析工具E z T r e n d标准接口 ； 定制接口 O P C , M o d b u s ， O D B C 驱动 ； e D N A A P I分布式数据采

14、集接口实时消息通信组件第三方开发分布式实时数据库服务器实时数据库 实时数据库 实时数据库数据访问1.2.2.2 数据仓库数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented） 、集成的（Integrate） 、相对稳定的（Non-Volatile ） 、反映历史变化（Time Variant）的数据集合，用于支持管理决策；数据仓库是一个数据环境，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到；数据仓库技术是为了有效的把操作形数据（ODS）集成到统一的环境中以提供决策型数据访问；数据仓库所做的一切都是为了让用户更快更方便查

15、询所需要的信息，提供决策支持；数据仓库区是专门针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域；数据仓库由覆盖多个主题域的企业信息组成，这些信息主要是低级别、细粒度数据，同时可以根据数据分析需求建立一定粒度的汇总数据；它们按照一定频率定期更新，主要用于为数据集市提供整合后的、高质量的数据；数据仓库一般很少直接面向最终用户，数据仓库侧重于数据的存储和整合，通常采用轻量级索引；数据仓库区内的数据按照主题存放，数据粒度与 ODS 缓冲区一致或粗于缓冲区，这些数据主要是企业级数据与历史信息，数据在线存储的周期一般较长；数据仓库区的数据是由 ODS 缓冲区的数据按照数据仓库模型的要

16、求进行整合后形成的；在设计数据仓库时，应注意建立规范的数据模型，下表是数据仓库中数据和普通数据库的数据特征的比较：数据仓库的数据 普通数据库系统的数据长期的框架 短期的框架静态 快速变化数据通常是汇总的 记录级的访问特殊查询访问 标准查询访问定期更新 实时更新数据驱动 事件驱动建立数据仓库时，应执行以下步骤：1、收集和分析业务需求；2、建立数据模型和数据仓库的物理设计；3、定义数据源 ；4、选择数据仓库技术和平台；5、从操作型数据库中抽取、净化、和转换数据到数据仓库 ；6、选择访问和报表工具 ；7、选择数据库连接软件；8、选择数据分析和数据展示软件 ；9、更新数据仓库 ；设计数据仓库模型时，需要考虑以下几点：1、 基于主题域；2、 侧重于对企业范围内数据进行整合；3、 明细数据与聚合数据共享；4、 从技术而言是 3NF 模式；1.2.2.3 数据集市数据集市是为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subjectarea） ；在数据仓库的实施过程中往