数据适配器技术白皮书

《数据适配器技术白皮书》由会员分享，可在线阅读，更多相关《数据适配器技术白皮书（17页珍藏版）》请在金锄头文库上搜索。

1、0O.OA目录1.1简介 41.2体系结构 61.3系统组成 81.4数据适配器种类 81.4.1简单适配器 91.4.2复杂适配器 91.5系统功能 91.5.1配置管理 101.5.2数据收集 101.5.3数据清洗 111.5.4数据填充 111.5.5数据格式翻译 111.5.6数据压缩 121.5.7数据加密和签名 121.5.8监控管理 121.5.9通知管理 131.5.10权限管理 131.5.11日志管理 141.5.12节点管理 141.5.13数据查询 141.6系统特点 141.6.1应用集成框架 141.6.2集中化管理 141.6.3多种数据格式 141.6.4灵活

2、的数据加工处理 151.6.5支持事务功能 151.6.6可靠的故障恢复 151.6.7XML 的支持 151.7 操作环境 151.7.1 硬件 151.7.2 软件 161.1 简介随着大型企业及政府机关机构实现业务集中处理后，各个数据中心产生的大 量数据信息，以及各种文件、图像、数据及多媒体数据等需要及时快速地从市、 区、县一级的服务器或终端传输到省或全国中心，或者从全国中心往省、市、县 级中心下发。由于数据的复杂性，收集的突发性，同时由于数据来源各式各样， 因此对数据收集的效率、可靠性、灵活性、安全等方面提出了诸多要求，手工收 集明显无法胜任企业级应用环境的需求。数据适配器是面向分布式

3、的数据收集管理服务。针对上述需求，提供满足企 业级应用需要的灵活通用的数据收集管理功能，使用户能够方便地、随时随地地 挖掘、提取、转换和管理数据。数据适配器能够为需要数据集成的应用提供数据 流服务，即需要解决数据从何而来，哪个应用对其感兴趣，以及如何被每个系统 使用。数据适配器通过把信息提供者和消费者隔离，来构建灵活的系统，使得这 些系统不会受到数据的物理位置的影响，也不会受到需要存取数据信息的应用个 数的影响。这样，对于每一个系统，在一般情况下不需要进行特别的定制处理， 可以在系统之间实现信息的集成了。许多企业需要将许多不同的系统连接在一 起，使得它们之间能够进行信息交互。原来的典型处理方法

4、是需要一个直接的“点 对点”的数据链接，并且需要定制编程以实现系统之间的“会话”。随着新系统 的不断增加，直接的定向连接和定制编程的情况会急剧增加，这最终会成为信息 流动的瓶颈。数据适配器通过一个集成框架的方案来解决这个问题，即自动定制 系统集成需要的大部分编码。数据适配器通过为开发人员提供一组标准接口来实 现这个方案，数据适配器可以实现系统和系统间的连接，也可以实现系统和中间 件之间的连接。数据适配器提供解决数据集成问题的标准适配器，比如数据转换，过滤和填 充，同时也支持数据交换标准，比如 XML 等。数据适配器还具有例外处理能力。 所有这些类型的适配器都可以非常容易无缝集成到异步消息系统和

5、订阅/发布系 统中。数据适配器可以为不同的专用中间件系统提供适配器，通过对接口协议需 求进行抽象，使用数据适配器框架，就可以完成某个中间件产品的特定接口。使 用数据适配器，可以很容易和快速的实现新的适配器。作为一个面向企业级应用的产品，数据适配器具备以下品质特性：可靠性：即系统必须保证数据收集的可靠性，不能在非正常断电、操作系统 崩溃后导致数据丢失和不完整。在数据收集过程时，非正常断电、操作 系统崩溃，数据适配器能够保证数据的完整性，支持故障恢复。可扩展性：系统能够随着业务规模的扩大和对文件传输服务要求的变化、快 速方便地部署新的处理节点和调整数据收集的方式，适应用户系统的变 化。安全性：通过

6、集中的用户身份认证和权限管理中心，对所有节点的用户统一 进行管理和授权，保证系统的访问安全。数据适配器还提供节点标识认 证、数据加密、日志等多种机制，在多个层次上保证系统的安全性。可管理性：系统提供统一的图形用户界面，配置、管理、控制等都可以通过 图形界面操作完成。系统易用性：用户对于系统的使用，不需要进行大量的开发工作，而只需要 将数据适配器安装在需要收集数据的各节点上，进行少量的简单配置工 作，就可以实现数据收集管理功能，非常容易使用。易于开发和集成：系统提供应用开发接口，供用户和系统集成商进行了应用 开发、便于与其他系统的灵活集成。信息系统名称 是一个面向地方区域的服务对象例举 等服务对

7、象 的系统，大量数据信息分布在地方区域的服务对象例举。利用数据适配 器灵活通用的数据收集管理功能，并透过信息系统名称使用户能够方便地、 随时随地地挖掘、提取、转换和管理数据。同时，为了更进一步进行数据集成，充分释放单位名称数据的价值，降 低用户在系统开发方面的投资，缩短系统开发周期和提升产品质量，数据适配器 提供了多种类型的应用程序接口，允许用户利用外部的工作流对数据适配器进行 二次开发。包括：扩展处理接口、消息通知接口、协作接口和数据网关，方便用 户灵活开发更加个性化的数据收集管理系统和与其他系统进行集成1.2体系结构数据适配器以处理引擎为处理核心，处理引擎内置的服务包括：数据收集、 数据清

8、洗、数据填充、数据格式翻译等基本的数据处理功能。如用户需要对数据 进行个性化的处理，如：扩展处理适配器不支持的文件格式翻译、数据需经外部 系统处理等，可通过扩展处理接口实现扩展的个性化处理。业务流程由业务规则驱动，对业务流程的大部分修改都是对业务规则的修改 （相对于针对技术进行的修改）。但是，由于在传统的应用程序中，业务规则包 含在一些不透明的程序代码中，在不影响正在运行的业务流程的前提下，无法轻 松地访问或修改它们。将业务规则从程序代码或者任何流程实现机制中抽离出来可以极大改善业务流程的管理。数据适配器内置的工作流引擎提供了可视化的图 形设计界面，方便用户根据自身的业务规则定义数据处理流程。

9、内置工作流引擎 负责管理步骤，应用业务逻辑，以及调用复杂流程和（或）事务集合的支持程序。此外，处理引擎还包含了与其他节点或系统协作进行数据收集的结点管理。 通过结点管理对逻辑上分布的各个节点进行集中化管理。上级结点既可通过调度 下级结点进行数据收集，也可由上级结点向下级结点广播数据。数据处理引擎扩展处网接口数据收数据填充格译 据翻 数式口-|;理内置H作流引擎图2数据处理引擎功能模块图数据适配器提供有供最终用户使用的图形用户界面，完成引擎的配置、处理 的监控管理、数据查询打印等任务；为了适应复杂多变的数据处理方式，我们采 用了插件式的设计，用户个性化的处理（如：支持更多的数据格式、个性化的数

10、据转换处理）可利用数据适配器提供的扩展处理接口进行扩展。数抓适配器处理引擎SMS o桌|山逋知o消恳通知网 关QQ側弘 0；mil 0图3数据适配器与消息通知网关的关系在消息通知方面灵活多样，用户可利用统一的消息通知接口，轻松简单地发出各种消息，包括：故障通知、数据异常通知、数据处理通知和用户自定义信息。1.3 系统组成配置工具：允许系统管理员通过配置管理界面对处理引擎的执行动作进行配 置和管理。处理引擎：采用多任务处理方式，由不同的进程来提供不同的服务，如数据 收集进程、数据清洗进程、数据格式翻译进程等等，这些进程由内置工 作流引擎驱动，相互协调工作，完成系统的各种任务。监控器：允许系统管理

11、员通过管理界面进行数据处理、实时监控数据处理的 情况。查询工具：提供灵活的查询定义功能，使业务人员方便地查询统计收集的数 据。扩展处理接口：为了弥补处理引擎固有处理的不足，数据适配器提供了扩展 处理接口，用户可以基于这些接口，实现个性化的处理操作。消息通知接口：允许系统管理配置各种通知方式，如：邮件、 QQ、SMS、 OA 通知等，系统通过接口实现故障通知、数据异常通知、数据处理通 知和用户自定义通知等功能。协作接口：一方面，允许节点间对数据处理引擎进行远程调度，实现数据收 集协作。另一方面，用户可以基于这接口函数实现与其他系统集成。数据网关：为了方便用户更加灵活地使用和管理数据，数据适配器提

12、供数据 存取，用户可利用此接口实现数据交换和数据共享。内置服务包括：数 据压缩、数据加密和签名等，保证数据进出数据适配器的安全性。1.4 数据适配器种类1.4.1 简单适配器简单适配器适合于数据传输具备独立语义的特性，即：数据元素的传输不依 赖于其他元素的传输；数据元素的引用和解释是自包含的；有很多数据元素的传输具备独立语义特征，例如：一个word文件、一条统 计数据记录、一个审批批准的公文等等。简单说，具备独立语义的数据元素就是 最小的传输单元，这个概念类似于数据库应用中的事务处理特征，即要么整个数 据元素被传输，要么不被传输。具备独立语义的数据元素传输不会引起数据中心查询的歧义。1.4.2

13、 复杂适配器同时，随着数据汇集的深入，数据越来越体现应用的语义特征。即，数据元 素不再是独立语义，具备复合语义。一个数据元素传输成功的前提必须是其他数 据元素的传输成功。复杂适配器是为了解决复合数据元素的一致传输和同步问题。例如：包含统 计汇总信息和明细信息的数据包就包含了多个数据元素，只有这些数据元素的同 时完成才能使得数据中心查询得到的数据不会歧义，否则领导在数据中心会看到 不一致的数据信息。特别地，当数据源越来越多时候，这个问题将越突出、越难 发现和解决。复杂适配器可以分为两类：一类是：复合数据元素又若干个独立语义数据元素组成，组成结构是一个树 关系。另一类是：复合数据元素又数据元素组成

14、的关系是复杂的。可以分为：图关 系、嵌套关系、与应用事务相关的关系。1.5 系统功能数据收集处理是数据适配器的核心功能，此外，还提供了跨越系统多个层次 的安全性机制和良好的可管理性，以满足企业级应用的要求。1.51 配置管理用户通过图形化对数据适配器的行为进行设置。设置项包括：收集任务定义、 输入定义、输出定义、数据清洗规则定义、数据填充规则定义、数据映射关系定 义、处理流程定义等。文件阿握辽了 fflS (V)工且工)帮iSOP卸”钿莎口 北电1唱|口0 =屋If卑历程定叟任筠管理-匚好袒皿FliM TIde 凹叽口 皋 LadLMonc dl图4配置管理界面152数据收集数据适配器目前支持

15、以下几种数据源：XML文档、Word文档、Excel文档、CSV 文件、文本文件、Access 文档、SQL SERVER、MySQL、Oracle、DB2、 Sybase等。用户可利用扩展处理接口以实现支持其他数据源。数据收集模式分为：定时收集：系统按用户设定的时间定时执行已配置于好的数据处理流程。 变化自动收集：通过系统监视指定数据源的数据是否发生变化，一但数据发 生变化便启动数据收集处理任务。被动通知收集：由外部节点发出通知，节点收到通知后，根据相应的权限设置进行数据收集处理。手工收集：用户通过监控界面直接调用一个已配置好的工作流程实现数据收 集处理。外部调用收集：由外部系统通过接口调用数据适配进行收集工作。实现这种 收集模式需要外部系统进行一定开发或修改。1.5.3 数据清洗根据用户定义的数据清洗规则对数据进行合法性、合理性检查，保证每个节 点收集的数据是正确可用的。1.5.4 数据填充根据用户定义的数据填充规则对数据填充，保证数据的完整性。1.