大数据共享交换平台解决方案设计

《大数据共享交换平台解决方案设计》由会员分享，可在线阅读，更多相关《大数据共享交换平台解决方案设计（30页珍藏版）》请在金锄头文库上搜索。

1、数据共享交换平台设计方案编 写 单 位：北京 XXX 信息技术有限公司项目负责人：XXX编 写 人 ：XXX提 交 日 期：二O四年三月变更记录* A -增加的M -改进的 D -删减的编号日期章节号A,M, D变更描述负责人版本号12014-03-01AllA建立模板张富山0.122014-03-10AllA初稿编写张富山1.0目录第一章概述 51.1平台建设背景51.2应用场景61.3术语介绍71.4编制依据及参考资料9第二章必要性、可行性及效益分析 102.1必要性分析102.2可行性分析102.3效益分析10第三章建设目标、思路及原则 113.1建设目标113.2建设思路113.3建设

2、原则11第四章关键问题解析 124.1数据交换平台能解决什么问题124.2数据交换平台与业务应用的关系124.3数据交换平台无法解决实时性的业务需求 12第五章总体设计 135.1系统总体结构135.2系统逻辑结构135.3系统物理结构14第六章数据交换平台功能设计 156.1交换中心管理系统156.2接入管理系统166.3交换前置子系统186.4交换桥接子系统196.5运行监控平台206.6系统管理21第七章交换平台安全设计 237.1威胁与风险分析237.2安全需求分析237.3身份认证和授权管理设计247.4数字证书认证257.5数据交换过程的安全保障25第八章数据交换中间件选型 268

3、.1数据交换中间件技术要求268.2东方通中间件介绍288.3易达讯中间件介绍28第九章本期主题应用开发 29第十章后续主题应用开发及拓展 3010.1政务资源目录管理系统3010.2基础信息库3010.3领导决策支持系统3010.4网上联合/协同审批3010.5电子政务统一平台与其它系统的数据交换 30第一章 概述1.1 平台建设背景当前政府、企业的信息化的状况是，各政府和企业一般都设计和建设了属于 机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自 业务内容的信息处理系统，系统设计建设的时期不同、业务模式不同，信息化建 设缺乏有效的总体规划，重复建设；缺乏统一的设计标准

4、，大多数系统都是由不 同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存 在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源，消除“信息 孤岛”现象，提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平 台，主要目的是有效整合分散异构系统的信息资源，消除“信息孤岛”现象，提 高政府和企业的信息化水平，灵活实现不同系统间的信息交换、信息共享与业务 协同，加强信息资源管理，开展数据和应用整合，进一步发挥信息资源和应用系 统的效能，提升信息化建设对业务和管理的支撑作用。要求新构建的数据共享交换平台要遵循标准的、面向服务架构（SOA）的方式， 基于先进的企业服务总线E

5、SB技术，遵循先进技术标准和规范，为跨地域、跨部 门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传 输和加密等操作的数据交换服务，实现扩展性良好的“松耦合”结构的应用和数 据集成；同时要求数据共享交换平台，能够通过分布式部署和集中式管理架构， 可以有效解决各节点之间数据的及时、高效地上传下达，在安全、方便、快捷、 顺畅的进行信息交换的同时精准的保证数据的一致性和准确性，实现数据的一次 采集、多系统共享；要求数据交换平台节点服务器适配器的可视化配置功能，可 以有效解决数据交换平台的“最后一公里”问题，快速实现不同机构、不同应用 系统、不同数据库之间基于不同传输协议的数据交换

6、与信息共享，为各种应用和 决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数 据系统集成在一起完成特定业务，提供同构数据、异构数据之间的数据抽取、格 式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面 功能，支持的数据包括各主流数据库（如Oracle、SQLServer、MySQL等）、地理 空间数据（如卫星影像、矢量数据）、常规文件（word、excel、pdf）等各种格式， 并可以根据用户需求定制开发特定业务服务。1.2应用场景场景一：中国科学院电子学研究所的信息交换需求实现各个数据中心间的数据库层面的数据共享交换，各中心之间是双向的、 实时的数据交

7、换，各数据节点的数据库是同构的数据库系统（即Oracle）,数据 的类型是基于数据库表格的规则数据，字段类型包含BLOB字段类型。目前各数据 节点的数据结构（表）是相同的，主要是一表对一表的数据交换，数据抽取和过 滤需求比较简单。目前数据共享交换是通过Oracle Golde nGate数据库同步工具 来实现的。用户具体需求包括：1）可视化的交换节点配置管理，包括：动态添加数据交换节点、配置交换节 点间的表的同步映射关系、配置表的同步规则、过滤条件等。2）OGG 交换进程监控管理实时监扌空各节点间的Ogg交换进程的统一管理，包括：按照进程的分类（如 抽取、投递）来管理，并实时监控每个进程的运行

8、状态，发生异常时通过短信或 者声光报警的方式来告知用户。3）统计分析实时统计各交换节点间的数据流量统计（按天、月、年来统计；按表、）数据 同步状态统计（如更新的、插入的、删除的、成功的、失败的）。场景二：国土资源部航遥中心的信息交换需求以高分地矿示范应用系统为例，其数据交换节点是各个分系统，各分系统之 间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理 矢量数据、多媒体数据等；数据交换时需要做数据抽取、格式转换、内容过滤、 同步或者异步传输等业务操作，数据共享交换是通过应用层面调用服务接口的方 式来实现的。 场景三：河北国土资源数据中心的信息交换需求 场景四： 场景 N：1

9、.3 术语介绍（1）企业基础信息工商、国税、地税、质监等部门涉及到企业注册登记、变更、注（吊）销、 年检、税务登记、组织机构代码登记等业务内容的基础信息，具有跨部门共享需 求的特征。（2）企业基础信息交换平台 工商、国税、地税、质监等部门之间进行企业基础信息交换的通讯、传输与 管理系统。企业基础信息交换平台是指成熟的应用集成和数据交换中间件产品。（3）交换前置机 企业基础信息交换平台中与工商、国税、地税、质监等交换节点进行信息交 换连接的交换前置服务器。（4）信息交换桥接 工商、国税、地税、质监等部门业务应用信息库与前置交换信息库之间信息 安全交换的连接通道。（5）企业基础信息库 存储、管理企

10、业基础信息的数据库。（6）前置交换信息库 工商、国税、地税、质监等部门与企业基础信息交换平台之间共享信息双向 交换的中转数据库。（7）业务数据库 业务数据库是指各个委办局保存业务数据的数据库，运行在委办局的内网 中。如税务部门的税务征管数据库，工商部门以“经济户口”为主要内容的工商 业务数据。（8）应用系统 应用系统是指本项目开发的部署在各委办局节点前置机上的桥接系统、中心 数据管理系统、数据比对和整合系统等应用的总称。（9）中心数据管理系统 中心数据管理系统是指本项目开发的实现交换数据查询和管理等功能的应用 系统。（10）数据比对整合系统 数据比对系统是用来加工整理各单位发送的企业基础信息的

11、系统。按照一定 的比对规则和条件，数据比对系统对各部门的信息进行对比，形成完整、统一的 XX 市基础信息数据库。1.4编制依据及参考资料全国企业基础信息共享和应用建设实施要求 电子政务信息共享互联互通平台总体框架技术指南 号）政务信息交换体系国信办200510号）国办秘函200479GB/T 21062-2007）国信办20062号）国家电子政务总体框架第二章 必要性、可行性及效益分析2.1 必要性分析在信息化建设过程中，各职能部门通常采用不同的技术和体系结构来构建自 身的信息系统，虽然为各自业务发展起到了很好的促进作用，但各信息系统数据 独立存储形成一个个信息孤岛，使得各业务系统之间很难实现

12、数据共享，严重制 约着政府各职能部门、业务系统之间的协作及工作效率的提升。如何在不改变原 有系统的基础上实现跨平台数据访问也成为信息化建设道路上必须思考的一个问 题。2.2 可行性分析在技术上，当前市场已经涌现很多实现数据交换的平台产品，形成先进的信 息交换和共享服务技术体系，能为数据交换平台的建立提供很好的技术架构。2.3 效益分析通过数据交换平台的建立可以打破当前的“信息孤岛”现象，建立不同业务 系统的数据共享平台，形成政府综合信息库。同时，通过统一的数据交换平台实 现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了 各自数据信息的安全。从未来发展的角度看，当前建立数据

13、交换平台可以为以后新的业务系统的建 设提供标准，一旦标准形成，审批、监察等业务都可以直接利用共享的基础信息 库数据，从而减少了数据采集的资本投入，也提高了监管工作效率和公共服务水 平，取得了良好的经济效益和社会效益。第三章 建设目标、思路及原则3.1 建设目标核心目标是全市建设数据交换平台，作为今后数据交换的支撑，将来在平台 上不断的扩展应用。本期建设目标 搭建政务数据交换中心，实现政府部门业务系统之间的数据交换，为政 府内部办公提供数据交换采集综合信息库； 建立全市电子政务建设地方标准和规范，为以后信息系统的建立提供规 范指导。远期建设目标 通过数据交换建立企业信息库，实现政务、企业数据共享

14、，为网上行政 审批提供决策数据； 建立业务数据的集中采集平台，实现了行政审批电子监察数据的在线、 实时采集。3.2 建设思路要实现各部门的数据共享，必须先建立统一的数据交换平台，通过交换平台 实现各异构数据库之间的数据集成，实现原有各业务系统在数据级集成，保证异 构数据库之间的数据交换与共享。在建立的数据交换平台基础上，针对各业务系统的技术和体系结构，配置各 业务系统的数据交换映射关系，形成各业务系统的应用。当平台建立好以后，业 务应用可以任意扩展，添加新的共享数据。3.3 建设原则全市信息交换平台建设必须遵守以下原则： 不影响现有或其它相关信息系统的使用和信息安全； 技术要成熟、可靠，在节约

15、成本投入的前提下确保平台建设质量； 建立一个坚实的系统应用平台，便于系统的管理和维护，技术易于更新，网络及业务规模可以逐步扩展。统一规划，分步实施。第四章 关键问题解析4.1 数据交换平台能解决什么问题对数据交换平台的理解有一种误区，就是有了数据交换平台不同系统之间的 信息交换就可以随便实现了，而不需要任何编码；实际上这是不对的。数据交换平台的应用主要是在异构系统之间的信息交换，但在信息交换过程 中交换平台本身要解决的问题只是一小部分，它本质是一个中间件，面向客户时 屏蔽了很多系统底层的信息，比如网络的协议、数据的传输安全等，据交换平台 本身不具有业务本身的处理功能，比如无法自动从某个业务系统中直