2022年数据交换平台定义

《2022年数据交换平台定义》由会员分享，可在线阅读，更多相关《2022年数据交换平台定义（16页珍藏版）》请在金锄头文库上搜索。

1、产品白皮书- 1 - 华迪数据交换共享平台（HD-Data Exchange Platform）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 16 页 - - - - - - - - - 产品白皮书- 2 - 1. 产品概述 .32. 数据共享交换平台总体框架.43. 数据交换共享平台建设内容.43.1. 目录服务 .43.2. 交换体系 .53.3. 数据存储中心.54. 产品功能 .64.1. 数据抽取 .64.2. 数据转换清洗.64.3. 数据整合 .74.4.

2、 数据同步机制.84.5. 数据存储 .84.6. 安全设计 .84.7. 支持全表同步.94.8. 支持大字段类型交换.94.9. 支持增量同步.95. 产品关键技术 .95.1. 基于 SOA架构 .95.2. WEBSERVICE技术 .105.3. XML 和XSD .115.4. SOAP .115.5. WSDL .115.6. UDDI .125.7. WS-SECURITY技术 .125.8. 非对称加密技术 .126. 产品特点和优势.146.1. 易用性 .146.2. 易扩展 .146.3. 安全性 .146.4. 灵活的策略配置 .146.5. 可靠传输 .146.6.

3、 高效的数据传输性能.146.7. 完善的日志系统 .156.8. 实时的节点监控系统.156.9. 统一的安全权限认证服务.156.10. 良好的移植性.157. 产品运行环境 .157.1. 中心节点服务器 .157.2. 交换节点服务器 .168. 成功案例 .16名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 16 页 - - - - - - - - - 产品白皮书- 3 - 1. 产品概述在我国，政府职能正从管理型转向管理服务型，如何更好地发挥政府部门宏观管理、

4、综合协调的职能，如何更加有效地向公众提供服务，提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求 “政府行政管理要积极运用数字化、网络化技术，加快信息化进程” 。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。随着电子政务建设的不断发展，政府拥有越来越多的应用数据，如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程，实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用， 是电子政务建设的更高级的阶段和核心任务。信息资源只有交流、 共享才能被充分开发和利用， 而只有打

5、破信息封闭， 消除信息“荒岛”和“孤岛”，也才能创造价值。目前各级政府都在进行政务资源数据的“整合”，但“整合”什么？如何“整合”？“整合”后做什么？将是摆在政府各级领导面前的首要问题。北京华迪宏图信息技术有限公司凭借自身丰富的电子政务建设经验、自主创新的技术研发优势， 为各级政府机构的实际需求提供了政务资源整合的综合解决方案华迪宏图数据共享交换平台。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 16 页 - - - - - - - - - 产品白皮书- 4 - 2.

6、数据共享交换平台总体框架服务层中 心 信 息 资 源数 据 库功能层组件层传输层数据层文 件共 享 信 息 资 源数 据 库文 件消 息 中 间 件消 息 发 送消 息 接 收队 列 管 理路 由 管 理查 询 适配 器接 收 服务FT P适 配器数 据 库 适配 器文 件 适配 器资 源 目 录 管 理核 心 元 数 据 管 理交 换 元 数 据 管 理数 据 字 典 管 理节 点 管 理交 换 策 略日 志 管 理文 件 共 享 交 换 服 务数 据 库 共 享 交 换 服 务目 录 服 务数 据加 密数 据权 限功 能权 限认 证服 务安 全保 障服务层 ：是以 WEB 服务等形式对功能

7、层各项功能进行组合，封闭后提供的服务接口。功能层：是指数据共享交换平台的核心功能，主要包括核心元数据管理， 交换元数据管理，节点管理，日志管理，资源目录管理，交换策略管理等组件层 ：是支撑数据共享交换平台核心功能实现的各类可重用基础组件，包括文件适配器，数据库适配器，数据传输组件，数据转换组件等传输层：保证数据交换的准确和安全。采用成熟商业消息中间件。数据层 ：是数据共享交换平台要交换共享的数据，可是文件和数据库。3. 数据交换共享平台建设内容3.1. 目录服务能够提供统一的目录服务， 为各部门实现可对外共享资源目录的注册、更新和管理提供服务； 能够通过查询， 让用户知道自己想要的信息资源在哪

8、里，由哪个部门提供。从而解决有什么？在哪里？谁提供？等问题；名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 16 页 - - - - - - - - - 产品白皮书- 5 - 按照政务信息资源目录体系和政务信息资源交换体系国家标准，政务信息资源共享交换体系包括信息资源目录体系与信息资源交换体系两部分，通过目录体系可以实现对信息资源的有序化组织管理，各部门可以了解和掌握信息资源的基本概况， 发现和定位所需要的信息资源，通过交换体系可以获取到所需要的信息资源，两部分互相协作，

9、从而实现信息资源的共享和交换。政务信息资源目录体系是按照统一的标准规范，对分散在各级政务部门的政务信息资源进行整合和组织，形成逻辑上集中， 物理上分散， 可以统一管理和服务的政务信息资源目录， 为使用者提供统一的政务信息资源发现和定位服务，实现政务部门间信息资源共享和信息服务的政务信息资源管理体系。3.2. 交换体系交换体系主要包括前置机、交换服务两个部分，实现部门之间的数据交换。前置机主要负责数据的采集和标准转换工作。为了适应不同部门的业务情况，数据采集可以用三种方式： 一是前置数据库方式， 即由资源提供单位开发接口，将需要共享的数据统一转存在前置机上，为了平台提供服务； 二是虚拟数据库方式

10、，即在资源提供单位的业务数据库上建立所需的数据表，前置机方位虚拟取得信息；三是适配器方式，资源提供单位业务数据封装，直接为平台服务。交换服务负责数据交换管理及用户认证、授权管理、 访问日志、 安全审计等工作。各部门通过交换服务访问所需的共享信息资源。数据使用有两种方式： 一是共享服务系统方式， 即不修改原有的应用， 建立独立的资源访问界面提供用户使用；二是数据集成， 即通过改造应用系统， 直接将平台提供的信息资源集成到应用系统中使用。 通过日志和审核系统， 资源提供者可以及时掌握本部门数据流向、数据访问量等信息。3.3. 数据存储中心目前，数据存储中心主要有三种建设模式：数据大集中方式，就是将

11、全市各委办局的数据库全部集中存储管理；全分散方式，就是只有建设一个交换平台，数据全部分散在部门，交换中心不存储任何数据；采用集中 +分布的方式，分散建设，适度集中。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 16 页 - - - - - - - - - 产品白皮书- 6 - 华迪数据交换平台能灵活的适应实际项目的需要，建设不同模式的数据共享交换体系。4. 产品功能4.1. 数据抽取通过图形化适配器，以简单的拖放的方式，把业务系统的资源导入到前置机，支持的主流的数据库如

12、：MYSQL，ORACLE，DB2 ，SQLSERVER等。同时支持文件文件，Excel 表格，XML等。通过抽取把业务系统的数据转换成数据交换平台内部格式。4.2. 数据转换清洗名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 16 页 - - - - - - - - - 产品白皮书- 7 - 当数据源和目标系统的数据库结构存在差异时，系统提供的格式转换功能会对表字段和内容进行转换。如在将系统A中的表 AA同步到系统 B中的表 BB ，两个表字段存在差异， 则系统会根据设

13、置的字段名称转换规则进行字段名称格式转换。同理，若两者对统一属性的表示方式不一致，如在系统A中的表 AA中的性别表示方式为（“男”，“女”），则在系统B中的表 BB中的性别表示方式为（“1”，“2”），则系统同样可以进行数据内容转换。4.3. 数据整合把两张或者多张表里的字段，数据合成到一个表里。如把GZ，DH 和 XB 字段合成到一张新表。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 16 页 - - - - - - - - - 产品白皮书- 8 - 4.4. 数据同

14、步机制前置机前置机数 据库数据 库MD5值发生变化的数据某时间段的数据数据库适配器数据库适配器采用 MD5 比对算法，以及时间戳功能，实现数据的字段级别的增量更新。提高更新的效率。4.5. 数据存储数据交换平台采用分布式的存储， 各业务系统的数据存储在各自的前置机上，各业务系统之间实现点对点的传输，中心对基础数据进行聚集，整合。4.6. 安全设计采用前置机，需求方不直接访问业务系统对前置机进行 IP 绑定，结合业务系统访问的用户名、密码访问控制安全交换元数据的执行，采用了WS-Security 安全标准，以及 SSL协议，只有通过中心统一的权限认证服务器的认证，才能实施数据交换、 查询。同时结

15、合业务系统访问的用户名、密码检查节点合法性.数据安全通过非对称加密技术， 对传输过程中的数据进行加密保证了数据在传输过程中不被窃取和篡改。权限设计用户分类，功能权限访问控制安全显示控制 ： 根据不同用户具有的不同功能权限， 加载显示不同的功能模块。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 16 页 - - - - - - - - - 产品白皮书- 9 - 访问控制 ：服务器端对根据不同用户的功能权限，进行访问控制。 拒绝不合法的访问。4.7. 支持全表同步平台能实现

16、针对数据源的全表同步，将源系统指定表中的数据一次性全部同步到目标系统。4.8. 支持大字段类型交换本平台支持对大字段型的数据表进行同步，如blob、clob 等类型。4.9. 支持增量同步平台会将源系统指定数据库表中所增加的数据，按照一定时间规则逐次同步到目标业务系统。5. 产品关键技术5.1. 基于SOA架构SOA（Service Oriented Architecture，缩写 SOA），即面向服务的体系架构，它提供了一种构建IT组织的标准和方法，并通过建立可组合、可重用的服务体系来减少 IT 业务冗余并加快项目开发的进程。SOA 允许一个企业高效地平衡现有的资源和财产，这种体系能够使得I

17、T 部门效率更高、开发周期更短、项目分发更快，在帮助IT技术和业务整合方面有着深远的意义。企业服务总线（ Enterprise Service Bus ，缩写 ESB ），是面向服务架构的骨干，在完成服务的接入，服务间的通信和交互基础上，还提供安全性、可靠性、高性能的服务能力保障。 采用 SOA 架构，基于 ESB 总线进行企业应用集成， 应用系统之间的交互通过总线进行，这样可以降低应用系统、 各个组件及相关技术的耦合度，消除应用系统点对点集成瓶颈，降低集成开发难度，提高复用，增进系统开发和运行效率，便于业务系统灵活重构，快速适应业务及流程变化需要。名师资料总结 - - -精品资料欢迎下载 -

18、 - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 16 页 - - - - - - - - - 产品白皮书- 10 - 基于 SOA 架构的应用集成开发方法，与传统的软件开发方法略有不同，角色分工更加明确。 就整个项目开发周期来讲， 首先由业务分析员进行业务及流程定义，然后由架构师和设计人员利用SOA 方法将业务和复杂系统进行分割，抽象出对应的业务服务及流程服务；再由开发人员使用不同的开发技术，基于选定的 SOA 基础架构，进行组件和服务的开发实现、服务的组装与合成，并打包部署和运行调试；最后移交管理人员对服务和业务

19、流程的运行系统进行监控和管理，SOA 系统运行中，还可能会涉及操作人员参与业务流程的处理和使用。5.2. WebService 技术从表面上看， Web Service 就是一个应用程序，它向外界暴露出一个能够通过 Web 进行调用的 API。这就是说，你能够用编程的方法通过Web 调用来实现某个功能的应用程序。例如，创建一个Web Service ，它的作用是查询某公司某员工的基本信息。它接受该员工的编号作为查询字符串，返回该员工的具体信息。你可以在浏览器的地址栏中直接输入HTTP GET 请求来调用罗列该员工基本信息的 ASP 页面，这就可以算作是体验Web Service 了。从深层次上

20、看， Web Service 是一种新的 Web 应用程序分支，它们是自包含、自描述、模块化的应用，可以在网络(通常为 Web)中被描述、发布、查找以及通过 Web 来调用。Web Service 便是基于网络的、 分布式的模块化组件， 它执行特定的任务，遵守具体的技术规范，这些规范使得Web Service 能与其他兼容的组件进行互操作。它可以使用标准的互联网协议，像超文本传输协议HTTP 和 XML，将功能体现在互联网和企业内部网上。Web Service 平台是一套标准， 它定义了应用程序如何在 Web 上实现互操作性。可以用任何语言在任何平台上写Web Service 。Web Ser

21、vice 平台需要一套协议来实现分布式应用程序的创建。任何平台都有它的数据表示方法和类型系统。要实现互操作性， Web Service 平台必须提供一套标准的类型系统， 用于沟通不同平台、 编程语言和组件模型中的不同类型系统。目前这些协议有：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 16 页 - - - - - - - - - 产品白皮书- 11 - 5.3. XML 和XSD 可扩展的标记语言XMLWeb Service 平台中表示数据的基本格式。除了易于建立和

22、易于分析外，XML 主要的优点在于它既与平台无关，又与厂商无关。XML 是由万维网协会 (W3C)创建， W3C 制定的 XML SchemaXSD了一套标准的数据类型，并给出了一种语言来扩展这套数据类型。Web Service 平台是用 XSD 来作为数据类型系统的。 当你用某种语言如 java来构造一个 Web Service 时，为了符合 Web Service 标准，所有你使用的数据类型都必须被转换为XSD 类型。如想让它使用在不同平台和不同软件的不同组织间传递，还需要用某种东西将它包装起来。 这种东西就是一种协议， 如 SOAP 。5.4. SOAP SOAP 即简单对象访问协议 (

23、Simple Object Access Protocol)，它是用于交换XML 编码信息的轻量级协议。 它有三个主要方面： XML-envelope 为描述信息内容和如何处理内容定义了框架，将程序对象编码成为XML 对象的规则，执行远程过程调用 (RPC)的约定。 SOAP 可以运行在任何其他传输协议上。如可以使用SMTP，即因特网电子邮件协议来传递SOAP 消息，。在传输层之间的头是不同的，但 XML 有效负载保持相同。Web Service 希望实现不同的系统之间能够用“ 软件 -软件对话 ” 的方式相互调用，打破了软件应用、 网站和各种设备之间的格格不入的状态，实现“ 基于 Web无缝

24、集成 ” 的目标。5.5. WSDL Web Service 描述语言 WSDL文档而基于 XML的语言，用于描述 Web Service 及其函数、参数和返回值。因为是基于 XML的，所以 WSDL 既是机器可阅读的，又是人可阅读的。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 16 页 - - - - - - - - - 产品白皮书- 12 - 5.6. UDDI UDDI 的目的是为电子商务建立标准； UDDI 是一套基于 Web 的、 分布式的、为 Web S

25、ervice 提供的、信息注册中心的实现标准规范，同时也包含一组使企业能将自身提供的Web Service 注册，以使别的企业能够发现的访问协议的实现标准。5.7. WS-Security技术WS-Security 定义了一个用于携带安全性相关数据的SOAP 标头元素。如果使用 XML 签名，标头可以包含由XML 签名定义的信息， 其中包括消息的签名方法、使用的密钥以及得出的签名值。同样，如果消息中的某个元素被加密，则 WS-Security 标头中还可以包含加密信息（例如由XML 加密定义的加密信息）。WS-Security 并不指定签名或加密的格式，而是指定如何在SOAP 消息中嵌入由其他

26、规范定义的安全性信息。WS-Security 主要是一个用于基于XML 的安全性元数据容器的规范。5.8. 非对称加密技术1976 年，美国学者 Dime 和 Henman 为解决信息公开传送和密钥管理问题，提出一种新的密钥交换协议， 允许在不安全的媒体上的通讯双方交换信息，安全地达成一致的密钥，这就是“ 公开密钥系统 ” 。相对于 “ 对称加密算法 ” 这种方法也叫做“ 非对称加密算法 ” 。与对称加密算法不同， 非对称加密算法需要两个密钥： 公开密钥（publickey ）和私有密钥（ privatekey ）。公开密钥与私有密钥是一对，如果用公开密钥对数据进行加密，只有用对应的私有密钥才

27、能解密； 如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。贸易方利用该非对称加密算法实现机密信息交换的基本过程是：贸易方甲生成一对密钥并将其中的一把作为公用密钥向其他贸易方公开；得到该公用密钥的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 16 页 - - - - - - - - - 产品白皮书- 13 - 贸易方乙使用该密钥对机密信息进行加密后再发送给贸易方甲；贸易方甲再用自己保存

28、的另一把专用密钥对加密后的信息进行解密。贸易方甲只能用其专用密钥解密由其公用密钥加密后的任何信息。非对称加密算法的保密性比较好，它消除了最终用户交换密钥的需要，但加密和解密花费时间长、 速度慢，它不适合于对文件加密而只适用于对少量数据进行加密。在微软的 Window NT的安全性体系结构中， 公开密钥系统主要用于对私有密钥的加密过程。 每个用户如果想要对数据进行加密，都需要生成一对自己的密钥对（keypair ）。密钥对中的公开密钥和非对称加密解密算法是公开的，但私有密钥则应该由密钥的主人妥善保管。使用公开密钥对文件进行加密传输的实际过程包括四步：（1）发送方生成一个自己的私有密钥并用接收方的

29、公开密钥对自己的私有密钥进行加密，然后通过网络传输到接收方；（2）发送方对需要传输的文件用自己的私有密钥进行加密，然后通过网络把加密后的文件传输到接收方；（3）接收方用自己的公开密钥进行解密后得到发送方的私有密钥；（4）接受方用发送方的私有密钥对文件进行解密得到文件的明文形式。因为只有接收方才拥有自己的公开密钥，所以即使其他人得到了经过加密的发送方的私有密钥， 也因为无法进行解密而保证了私有密钥的安全性，从而也保证了传输文件的安全性。 实际上，上述在文件传输过程中实现了两个加密解密过程：文件本身的加密和解密与私有密钥的加密解密，这分别通过私有密钥和公开密钥来实现。名师资料总结 - - -精品资

30、料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 16 页 - - - - - - - - - 产品白皮书- 14 - 6. 产品特点和优势6.1. 易用性采用 B/S 模式设计，实现了集中管理灵活配置，用户不用进行大量的配置，只需通过简单的操作，就可完成数据共享交换。6.2. 易扩展系统采用 SOA 框架，很好适应未来的扩展需要。可以方便的扩展节点数量，在服务器上部署新的数据交换应用和更新数据交换原有应用。对传统的消息中间件进行了改进，实现节点的热部署，热配置。能实现节点的一次性添加。6.3. 安全

31、性采用了 WS-Security 安全标准。数据传输采用安全性较高的SSL协议。采用前置机模式， 实现了对源业务系统的隔离， 保证了不对业务系统造成破坏和压力的增加。6.4. 灵活的策略配置为用户提供丰富的定时方式，周期可以是小时，周，月以及各种组合。支持定时，定次执行。支持某时间段内的执行等。支持策略交换和手动交换; 支持一到一和一到多的数据交换; 支持前置机到前置机 / 前置机到中心的数据交换。6.5. 可靠传输数据传输采用商用成熟的消息中间件，保证了数据不丢失 , 不会出现信息重发现象。传输过程因意外中断，当系统恢复时，数据会重新传输，实现断点续传。6.6. 高效的数据传输性能对传输的数

32、据进行压缩处理，提高系统在网络上的传输性能。优化了数据传输的xml 格式，最大限度的减少数据冗余。采用分段传输的方式，提高传输的效率。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 16 页 - - - - - - - - - 产品白皮书- 15 - 6.7. 完善的日志系统提供共享交换的监控管理服务，以便对共享交换过程的有关情况进行记录，包括发起方、接受方、采用的共享/ 交换规则 , 策略的运行情况等。能对发送日志和接收日志进行分析， 验证发送和接收的一致性。 对平台

33、处理的同步交易进行记录。平台将记录交易的处理时间、处理状态、报文内容等信息，为交易跟踪和分析统计提供数据依据6.8. 实时的节点监控系统能通过中心对前置机的适配器和消息中间件的状态进行监控。及时了解各节点的运行状态。6.9. 统一的安全权限认证服务数据查询和交换必须经过中心认证服务器的认证。和传统的简单通过数据库的用户名和密码的方式相比，更可靠的保证了数据的安全性。6.10.良好的移植性整个平台基于 J2EE 架构，支持系统与平台无关性，支持常见的操作系统：Windows XP/WindowsServer 2003/WindowsServer 2008/linux。 支持Oracle 、 DB

34、2 、SQLServer等多种常见流数据库系统。支持多种常见Web 应用服务器如： Tomact，Weblogic ，Websphere 7. 产品运行环境7.1. 中心节点服务器操作系统软件 Windows XP/WindowsServer 2003/WindowsServer 2008/linux（AIX）数据库系统 oracle10 ，DB2 交换平台中心软件Web服务器 WebSphere6.0， WebLogic10 ，Tomact 硬件配置要求： 2 路 CPU, 主频 2GHz以上； 4GB 内存；名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - -

35、- - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 16 页 - - - - - - - - - 产品白皮书- 16 - 7.2. 交换节点服务器系统软件： Windows XP/WindowsServer 2003 交换平台客户端软件Web服务器 Tomact 数据库： mysql5.0 硬件配置要求：主频2GHz以上； 1GB 内存； 硬盘 20G 8. 成功案例数字乌海城市数字化应用一级平台数据共享交换平台为乌海市建立起了政府内部的协同机制，提高政府工作效率，提升公共服务能力打下坚实的基础。贵阳市城市应急指挥资源共享平台通过数据共享交换平建立了有效的跨部门应用服务模式，建立跨部门交换与共享的长效机制，以及制定信息资源共享交换管理和维护机制。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 16 页 - - - - - - - - -