《2级别大数据交换解决方案设计》由会员分享，可在线阅读，更多相关《2级别大数据交换解决方案设计（33页珍藏版）》请在金锄头文库上搜索。
1、word金和OA公文数据交换解决方案金和软件股份某某2011年9月20日目 录1公文数据交换解决方案2数据交换方式2同步/异步交换方式2发送/抽取交换方式4即时出发/自动交换方式5数据的格式82金和OA公文数据交换平台10交换传输层管理102.1.1Web Services10消息队列11其他12平台安全管理13数据传输安全13管理控制层安全14访问安全15典型交换过程16自动同步发送16应用触发异步发送18发送非结构化数据21自动抽取23公文交换平台设置24集团审批流程283金和OA公文数据交换标准与接口规X341 公文数据交换解决方案1.1 数据交换方式金和公文数据交换平台需要提供多种交换
2、方式，以满足不同应用场景的交换需要。按照交换的数据量和与时性要求，需要提供同步和异步的交换方式；从交换的发起方区分，需要提供发送和抽取方式；从交换的触发源区分，需要提供给用触发和自动方式.1.1.1 同步/异步交换方式公文交换的整个过程一般包括发送方处理、数据传输、接收方处理三个过程，同步是这三个过程按顺序全部执行完成后，发送方才收到反应，在此过程中，发送方一直处于阻塞状态；异步是发送方处理完成后就返回，而数据传输、接收方处理都在后台进展。同步适合于数据量较小，与时性要求较高的交换需求；异步适合于数据量较大的交换需求。下面以发送过程为例说明同步/异步的处理需求。(1)同步方式典型用例以发送方式
3、进展说明，如图1-1所示：图1-1 同步发送用例同步发送按以下步骤进展：1) 交换发起方即调用者，如业务应用或定时器启动交换操作；2) 发送方收到请求后，进展数据准备并向接收方发送数据；3) 接收方处理完成后，向发送方返回处理结果；4) 发送方将处理结果返回给调用者。(2)异步方式典型用例以发送方式进展说明，如图2-2所示：图1-2 异步发送用例异步发送按以下步骤进展：1) 交换发起方启动交换操作；2) 发送方收到请求后，进展数据准备并向接收消息队列发送数据；3) 发送到接收消息队列/后，返回发送结果；4) 发送方将发送结果返回给调用者；5) 接收方监听接收消息队列，当数据到达时，读取数据并进
4、展处理；6) 接收方处理完成后，将处理结果发送到回复消息队列；7) 发送方监听回复消息队列，当发送处理结果到达回复消息队列/时，读取回复结果并记录日志。1.1.2 发送/抽取交换方式1) 发送与抽取的差异在于发送是由数据提供方发起，抽取是由数据接收方需求方发起，对于发送操作，可参见“同步/异步中的说明。以下是抽取用例，如图1-3所示：图1-3 抽取用例2) 抽取按以下步骤进展：3) 交换发起方即数据需求方启动交换操作；4) 接收方收到请求后，向发送方发送抽取请求；5) 发送方收到请求后，向接收方返回数据；6) 接收方收到数据后进展处理，并返回抽取结果给交换发起方。1.1.3 即时出发/自动交换
5、方式即时触发与自动交换的不同在于即时触发是当调用者发送交换请求时，交换立即开始执行；自动是按周期在无人值守的前提下，自动启动交换操作。自动方式用例，如图1-4所示：图1-4 自动发送方式用例即时触发用例，如图1-5所示：图1-5 即时触发发送用例数据交换平台在实际应用场景中，一般是同步/异步、发送/抽取、应用触发/自动3种方式或类别的组合，以下描述最典型的两种应用场景的交换方式。(1)两级数据中心自动交换金和公文数据交换平台是实现纵向数据贯穿的统一通道，两级公文数据中心级联需要通过数据交换平台实现。由于数据中心不同于业务应用，数据中心没有业务人员负责数据的传输，因此采用自动交换方式，实现在无人
6、值守的情况下，自动完成两级数据中心之间数据的交换。两级数据中心级联用例如图1-6所示：图1-6 两级数据中心级联实现两级数据中心级联，需满足如下要求：自动发送：分公司公文数据交换平台根据系统时钟按预定设置自动发起交换操作，从分公司数据中心获取数据，按交换标准封装后发送到公司总部公文数据交换平台，总部公文数据交换平台解析处理后，将数据存入公司总部OA系统之中；自动抽取：公司总部数据交换平台根据系统时钟按预定设置自动发起交换操作，通过调用分公司公文数据交换平台，从分公司数据中心获取数据，完成抽取操作；调度管理机制：需提供灵活的、可定义的调度机制，实现自动交换；交换可以是双向的。(2)业务应用触发交
7、换传输业务应用数据是数据交换平台的一个重要应用场景，数据交换平台需要实现应用即时触发交换，同时支持日志查询、数据到达通知功能，用例如图1-7所示：图2-7 应用即时触发交换应用即时发送：发送数据时，数据的封装可以由业务应用完成，也可以通过数据交换平台完成。业务应用封装数据：分公司业务应用对需要交换的数据按交换标准进展封装，封装后调用分公司数据交换平台；分公司、公司总部数据交换平台按照交换设置完成交换后，将交换结果返回给业务应用；数据交换平台封装数据：分公司业务应用在交换前将数据存入数据中心后调用数据交换平台；分公司、公司总部数据交换平台按照交换设置完成交换后，将交换结果返回给业务应用。应用即时
8、抽取：公司总部业务应用调用公司总部数据交换平台，传入抽取数据的说明信息；分公司、公司总部数据交换平台按照交换设置完成抽取后，将交换结果返回给业务应用。数据到达通知：数据到达通知既可以发送到数据交换平台中的队列，也可以发送到业务应用中的队列。发送通知到数据交换平台的队列：公司总部收到数据后，公司总部数据交换平台发送通知到数据交换平台中的消息队列，公司总部业务应用监听该队列，当通知到达后，业务应用根据通知内容启动相应操作；发送通知到业务应用的队列：公司总部收到数据后，公司总部数据交换平台发送通知到业务应用中的消息队列，公司总部业务应用监听该队列，当通知到达后，业务应用根据通知内容启动相应操作。日志
9、查询:公司总部或分公司业务应用调用数据交换平台接入服务，查询交换的发送日志或接收日志。1.2 数据的格式数据可分为两大类：结构化数据和非结构化数据。结构化数据是指诸如企业财务账目、客户信息、业务操作数据等具有明显结构化特性的数据。非结构化数据包括扫描文档图像、 、照片、动画、文字处理文档、电子表格、演示文稿、语音和视频片段等。金和公文数据交换平台不但要实现结构化数据的交换，同时要交换非结构化数据，非结构化数据相对于结构化数据而言，数据量巨大。无业务应用：对于无业务系统部门，需要通过数据交换平台向公司总部报送数据，数据通常是由手工录入的，要求数据交换平台提供Excel格式的交换标准，以便业务人员
10、可以手工填写，完成报送；业务应用：对于已建的业务应用，通过调用数据交换平台接入服务方式完成交换。由于XML作为当前主流的数据存储语言，具有遵循严格的语法要求、便于不同系统之间信息传输、具有较好的保值性等特点，所以要求数据交换平台提供基于XML格式的交换标准，当然对于数据量在Excel行/列容量X围内，也可以利用Excel格式作为交换标准；调度自动化系统：生产数据是公司重要数据，公司大多生产数据来源于调度自动化系统，而调度自动化系统数据格式全部采用结构简单、封装后容量小的E语言，因此交换标准需要支持E语言的数据格式；以上3种情况针对结构化数据而言，对于非结构化数据，以二进制文件方式进展；平台间数
11、据交换格式：分公司与公司总部之间交换的数据也必须采用统一的数据交换标准；支持格式转换：数据提供方与数据接收方可以不使用同一种数据格式。2 金和OA公文数据交换平台2.1 交换传输层管理2.1.1 Web ServicesWeb Services是一种部署在Web上的对象/组件，利用标准的、规X的描述语言WSDL进展描述，该描述文件中包括了与服务交互需要的全部细节，包括消息格式、传输协议和位置，隐藏了实现服务的细节，服务消费者可以独立于实现服务所基于的硬件平台、软件平台与编写服务所用的编程语言。基于 Web Services的应用程序具有松散耦合、面向组件和跨平台互操作的技术特性，具有高度可集成
12、能力。基于Web Services的这些特点，数据交换平台使用Web Services作为两个数据交换平台间远程数据交换传输通道之一，可以满足小数据量、与时性要求高的传输需求。2.1.2 消息队列消息队列能够在客户和服务器之间提供同步和异步的连接，并且在任何时刻都可以将消息进展安全、可靠的传送、存储、转发。数据交换平台在构建传输层时，将消息队列传输作为一个重要的底层传输手段，充分利用消息队列可靠传输的优点，实现大批量数据传输与断点续传功能，以满足总部和各分公司的大数据量交换的需要。队列设计：根据传输的需要，在公司总部与分公司设计相应的队列，完成数据的发送、接收、处理结果的回复发送、处理结果的接
13、收；队列组织图如图2-1所示：图2-1 队列组织图对公文数据交换平台交换的数据按大小可分为小数据量和大数据量两类，当交换大数据量数据时，为了减少系统资源占用，防止出现大量消息排队阻塞的情况，将数据首先保存为文件，然后作为文件消息发送，并为其规划单独的文件消息传输队列，当文件消息到达接收端时，向接收端的接收队列发送通知消息；小数据量直接发送到接收队列中；接收方在收到数据后，通过发送数据的队列，向发送方发送回复信息。在发送方，包含四个队列：发送数据队列、发送文件队列、数据接收队列包括接收回复信息的队列、接收文件队列。在接收方，包括针对各发送方的发送队列、发送数据队列、接收数据队列、接收文件队列。队
14、列容量设计：消息队列基于广域网进展数据传输，受网络限制，传输速度比拟慢，因此消息队列深度必须较大，这样在数据交换频率较高时，不至于出现消息队列满，导致发送失败的问题。数据压缩设计：因为网络带宽限制，在交换大数据量数据时，传输时间与数据量成正比，因此，增加对大数据量数据压缩功能，从而有效减小网络传输数据量，提高传输效率。2.1.3 其他电子：电子作为最常用的数据传输方式已被广为使用，对网络条件要求低，数据交换平台采用电子的方式作为传输通道，可以满足网络条件较差的传输需求。HTTP/HTTPS传输：HTTP是超文本传输协议的缩写，它用于传送方式的数据。HTTP协议采用了请求/响应模型，客户端向服务
15、器发送一个请求，请求头包含请求的方法、URI、协议版本、以与包含请求修饰符、客户信息和内容的类似于MIME的消息结构。服务器以一个状态行作为响应，相应的内容包括消息协议的版本，成功或者错误编码加上包含服务器信息、实体元信息以与可能的实体内容；对HTTP采用SSL加密，可以采用HTTPS协议，保证传输的安全性。数据交换平台采用HTTP方式实现手工准备的数据的提交，实现数据交换。2.2 平台安全管理金和OA公文数据交换平台的安全包括以下三个方面：传输层安全：采用安全的数据传输通道，对传输通道进展加密，防止数据在传输过程中被篡改、被窃听，实现数据传输的安全；管理控制层安全：在数据交换管理控制中，只允许经授权的用户访问资源或使用传输通道进展数据交换；对数据交换过程记录交换日志，对关键操作记录审计日志，实现数据管理控制层的安全；访问安全：在业务应用接入到数据交换平台中，通过与目录服务集成，提供给用接入安全，保证数据交换的访问安全。数据交换平台提供了基于消息、SOAP、HTTP的传输通道，为了保证数据交换传输的安全性，对各
