《商用库部分系统服务培训》由会员分享，可在线阅读，更多相关《商用库部分系统服务培训（22页珍藏版）》请在金锄头文库上搜索。
1、商用库部分系统培训国电南瑞科技股份有限公司电网控制分公司新系统平台开发组2005 年 01 月商用库部分系统培训 国电南瑞科技股份有限公司电网控制分公司2目录引言 .3一. 历史数据服务的定义以及在新系统中的定位 .4二历史数据服务包含的内容和相应的分类 .8三历史数据服务和数据库服务器的联接方式 .10四数据复制与同步服务的实现方式 .12五新系统中 1+N 功能的 实现机制 .15六数据库服务器的异常处理和切换机制 .16七历史数据采样简介 .18八缓存机制以及缓存目录 .20九数据追捕的作用以及工作流程 .21十其他服务 .211.模型更新服务 .212.直接 SQL 服务 .213历史
2、数据查询以及统计服务 .224历史数据修改服务 .225商用库告警服务 .22商用库部分系统培训 国电南瑞科技股份有限公司电网控制分公司3引言在新一代电力调度自动化系统的统一支撑平台中，历史数据服务作为数据库管理系统的重要组成部分，扮演着重要的角色。这些服务和其它各类服务之间的一个最重要的区别就是它们需要直接和商用数据库进行联接并交换数据，要注意的是这些服务的运行往往需要数据库（ORACLE、SYBASE 等）客户端动态库支持。由于读写商用数据库的实质是磁盘文件的 I/O 操作，在三层体系结构中还需要通过网络进行访问，其速度和实时系统有着数量级上的差别，所以对于历史数据服务来说，首先需要解决的
3、是相对慢的读写速度和系统连续不断读写需求（如高频率采样、画面上的不间断查询）之间的矛盾，确保商用数据库的操作不会成为整个系统正常运转的瓶颈。另外，由于系统中存在着冗余配置的数据库服务器，包括主备数据库服务器、镜像服务器、灾备服务器以及在安全隔离区以外的 WEB 服务器等。系统需要保证在各种配置和各种情况下数据库服务器之间数据的同步和一致，因此，数据的复制和同步机制变得非常重要。再者，考虑到调度自动化系统的高可靠性要求，系统不仅在正常情况下能够高效处理数据，还必须具备在恶劣的外部环境下确保可靠运行。例如，在数据库损坏或者网络异常中断的情况下如何保证系统还能保持大部分的功能不受影响，在切换的过程中
4、如何保证数据没有丢失等等。因此，数据库服务器以及相关的应用服务器的异常处理和切换机制也是新系统平台中十分关注并且需要很好解决的问题。商用库部分系统培训 国电南瑞科技股份有限公司电网控制分公司4一. 历史数据服务的定义以及在新系统中的定位在新系统的统一平台中，十分强调服务的概念。所谓服务（SERVANT） ，也就是一个或者一组运行在相关服务器上的后台进程（多线程） ，它们为其它的各个客户进程提供数据的查询、更新以及应用逻辑的处理，使得数据的处理能够集中在服务器上，客户端只要关注自己的人机交互以及某些应用逻辑。这同时也是新系统 C/S/S 结构的要求。在新系统的平台设计中，存在着众多的服务。例如，
5、下装服务、数据更新服务、查询服务、任务管理服务、告警服务、系统配置服务、日志管理服务、历史数据采样服务等等。在这些众多的服务当中，有一类服务需要直接和商用数据库打交道，如下装、数据更新、查询、历史数据采样等（实际上，在商用库部分实现中，诸如历史数据采样等的服务我们并不划分在历史数据服务中，以后的篇幅中我们会逐步阐述其中的原因） 。我们将所有和商用数据库打交道的服务以及支持商用数据库之间复制和同步的服务统称为历史数据服务。那么，在整个新系统的体系当中，历史数据服务究竟处于什么位置，完成什么样的功能呢？在回答这个问题之前，我们先要阐明几个和 C/S/S 结构有关的概念。所谓 C/S/S 结构，简单
6、地说，指的是系统硬件和软件的三层体系结构。一方面是将整个系统的结点划分为客户机、应用服务器和数据库服务器三个层次，另一方面是将所有的软件划分为客户应用软件、应用服务软件和数据库管理软件三个层次。其中，客户应用软件主要处理人机交互以及某些应用逻辑；应用服务软件完成大部分的应用逻辑处理以及和数据库的交互；数据库管理软件完成数据的存储、组织和管理。具体应用到我们的新一代调度自动化系统中，上述所有的那些服务在物理上就应该驻留在应用服务器当中。结合新系统的体系结构设计方案，应用服务器又可以分为SCADA 应用服务器、PAS 应用服务器、前置应用服务器等，根据每个服务的不同性质，将这些服务分布在各个服务器
7、结点当中，相互配合、协调来完成整个系统的功能。那么，我们提到的历史数据服务应该位于哪个应用服务器上呢？为了解答这个问题，我们需要将各种类型的服务器进行一些概念上的定义和明确。商用库部分系统培训 国电南瑞科技股份有限公司电网控制分公司5这些术语贯串了整个设计方案。 数据库服务器安装了具体商用数据库（ORACLE）的服务器结点。 应用服务器专门负责处理应用或者业务逻辑的服务器，其上运行着众多的服务进程。但是，这些进程不和商用数据库直接联系。 历史数据服务器专门负责处理和商用数据库直接交换数据的服务器，其上运行着我们的历史数据服务进程。必须指出，所谓的应用服务器和历史数据服务器都是逻辑上的概念，其逻
8、辑划分是以服务的性质来决定的，并不是一个系统中必须在物理上配置这些独立的硬件。也就是说，应用服务器完全可以和历史数据服务器共存于一个物理结点中，或者，三种服务器都共存于一个物理结点中。但是，在逻辑上，特别是软件的逻辑划分上我们采用这些术语，以方便整个方案的阐述，不致引起概念的混淆。现在，我们可以比较明确地回答上面遗留的问题了。历史数据服务在逻辑上分布于历史数据服务器当中（不得不再次强调历史数据服务器是一个逻辑概念） ，它们主要完成和商用数据库直接交换数据的功能，其结果（数据的查询和更新）被其它服务进程或者客户应用进程引用。为什么要单独将历史数据服务以及历史数据服务器划分为一个逻辑上的概念呢？其
9、一，这主要是为了解决在引言部分提出来的第一个问题，即商用数据库相对实时系统较慢的处理速度不能成为整个系统正常运转的瓶颈。例如，在很多调度系统中，包括现在的 OPEN2000 系统，历史数据采样进程在一个时间周期内（通常是 5 秒） ，既要从实时库中读取所有需要采样的遥测的数据和状态值，又要将这些数据拼接成相应的 SQL 并在数据库中执行。在数据量较大或者突发紧急事件（CPU 负荷短暂地升高）的情况下，这些涉及到磁盘 I/O 操作的 SQL 执行根本就来不及处理，以至于会经常造成漏掉采样点的情形。为了避免这种情况，我们需要将 SQL 执行的部分单独提取出来作为一个服务，使得采样服务专心处理实时数
10、据的读取（在内存中处理） ，而不至于因为 SQL 的执行速度慢导致漏掉下一个采样周期。这也是前面提到历史数据采样服务不被划分在历史数据服务中的最重要的原因。商用库部分系统培训 国电南瑞科技股份有限公司电网控制分公司6其二，由于系统中分布着各种应用服务器（SCADA，PAS，前置等） ，出于效率上的考虑（主要是尽量避免从网络上读取实时数据） ，一些服务进程会同时分布于各台应用服务器上。同样以采样为例，新系统中采样服务是作为公用服务提供给各个应用使用，也就是每个应用都拥有自己的数据采样服务。由于不同应用在物理上可能的不同分布，所以采样服务也会同时分布于各个应用服务器中。如果不将其中的 SQL 执行
11、部分划分出来，则势必在每个应用服务器上都需要相应的商用数据库客户端软件。这样，和我们的 C/S/S 结构就存在一些冲突，同时也会潜在地增加系统的成本。其三，这样的划分有助于简化数据库服务器的复制、同步、异常以及切换时的处理机制。在考虑上述可靠性要求的时候，我们的视线只要集中于那些直接和商用数据库打交道的服务进程，也就是我们的历史数据服务。这样，可以对历史数据服务采用统一的机制来解决这些问题。将来增加其它的服务或者应用进程时，只需要将和数据库相关的部分提交给历史数据服务来处理，而无须关心数据库服务器的诸多可靠性要求。图 1 表示了各种服务器和相应的服务在整个系统中的分布。图 2 表示了各种服务器以及客户机在数据处理上的层次关系。网络通信中间件商用数据库管理系统商用数据库管理系统数据库服务 器 数据库服务 器下装服务模 型更新服务查询服务数 据提交服务数 据复制服务历史数据服 务器S Q L 与 存 储过 程统计服务. . .历史数据服 务器实 时信号处理遥 控遥调服务实时数据库服务告警服务采样服务. . .S C A D A 应用服务器事 故信息处理公 式计算服务用 户权限服务系 统管理服务公 共图形服务. . .S C A D A 应用服务器通 道规约处理网 络规约处理实 时数据接受. . .实时数据库服务通 道切换服务通 道数据统计
