《互联网智慧政务数据共享交换平台技术方案》由会员分享，可在线阅读，更多相关《互联网智慧政务数据共享交换平台技术方案（39页珍藏版）》请在金锄头文库上搜索。
1、项目编号：智慧政务数据共享交换平台技术方案目录2 数据共享交换平台42.1 总体目标42.2 建设原则42.3 平台整体设计说明62.4 数据资源目录子系统13直接交换172.5 数据资源交换子系统19数据统计服务232.6 信息资源梳理271、现状分析和需求调研292、资源整理和入库293、资源分析和数据建模294、报告形成292.6.3 信息资源梳理工作方法302.6.4 梳理成果321、调研综述322、现状与分析333、数据质量分析报告334、调研总结332.6.4.2 政务基础信息资源目录347.共享方式。分为无条件共享、条件共享和不予共享。35表 教育局信息类结构（示例）362.6.
2、5 信息资源梳理工具设计37组织机构梳理38业务域梳理38业务角色39用户视图梳理39数据流程图39文档导出401 数据共享交换平台1.1 总体目标数据交换共享平台是各政务部门、政务部门与社会机构、政务部门与公众之间的桥梁。对于政府内部，一方面通过数据交换、共享、开放系统拉通部门间的数据，提高政务办公效率更好的为民服务；另一方面通过数据交换、共享、开放系统交换的数据汇聚到大数据处理平台，对数据资源进一步的集成、加工，形成更高价值的数据资产，并将处理后的数据以服务的方式对外提供，形成“数据”和“应用”之间的环流。本系统由全市统一部署管理，覆盖市、区政务部门，整体目标实现为政务服务“一张网”、“1
3、2345”在线平台、政务网站群等应用提供数据服务。本项目将先实现30家政务部门的数据交换、共享和开放。1.2 建设原则 省据共享交换平台要具有高可靠性、高扩展性、可管理性。总体上要从集约化统筹建设、需求和服务导向、标准化和规范化、安全可控可扩展等方面进行组织建设。1.2.1 统筹和集约化建设 共享交换平台建设要坚持统筹规划，集约化实施。为实现资源优化配置和信息共享需要，共享交换平台建设应充分考虑与各部门现有业务系统的对接、对各部门现有软硬件投资的保护及网络、存储、备份等现有资源的统一利用，最大化避免重复建设带来的浪费。1.2.2 需求和服务导向 共享交换平台建设应建立在对各部门需求充分梳理、分
4、析、提炼的基础上，紧密结合加强政府自身建设、强化执行力、提高工作效率和服务水平的要求，以各部门实际业务需求为导向，以提供信息资源共享交换服务为目标，提高跨部门信息共享业务协同水平，进一步提升政府部门社会管理和公共服务效能。 1.2.3 标准化和规范化 在开展共享交换平台建设的同时，应同步制定信息资源共享交换制度，强化信息资源规范化管理，建立信息交换、共享、发布的相关标准规范和运维管理制度。在建设过程中应站在省级信息资源开发利用的角度，进行统筹规划，将信息资源、基础设施和应用服务作为一个整体进行集约化建设。1.2.4 安全可控和可扩展性 共享交换平台应具有足够的安全性，能够防止来自系统内部的恶意
5、破坏及外部恶意攻击；应采用有效的安全防范措施和安全手段，保证系统的完整性和机密性，并对系统访问和操作提供有效的权限认证；系统应采用标准化安全技术与产品，易于扩展、可扩充、可扩容，系统还应提供容灾、容错等保障机制。共享交换平台应充分考虑平台中长期的延续性和扩展性，在建设过程中采用先进管理思想和技术体系，并借鉴现有成功案例和成熟经验，建设一个能够满足未来较长时间内电子政务对信息资源方面需求的平台。1.3 平台整体设计说明1.3.1 设计目标 数据共享交换平台的设计包括是数据资源交换子系统、数据资源目录子系统，是整个互联网+政务方案的核心组件之一。通过共享交换平台建设能够为各业务部门提供交换服务、共
6、享服务、应用服务以及目录服务，实现辖区内人口、法人税收、空间地理、社会保障和医疗救助、交通管理、财政统计等数据的交换共享，并为行政权力网上公开透明运行、企业注册登记并联审批等重点业务应用提供跨地区、跨部门的数据共享交换支撑。 共享交换平台在设计方面要求达到如下目标：1. 符合国家相关标准 2. 支持跨平台技术3. 支持松耦合的应用集成技术4. 支持多种通讯模式5. 支持多种数据交换方式6. 支持多种交换数据格式1.3.2 整体架构 数据共享交换平台方案的设计包括“数据资源目录子系统”和“数据资源交换子系统”，考虑到政务系统之间复杂的数据交换需求，总结出四种不同的交换模式：1）直接交换方案 2）
7、共享交换方案 3）安全交换方案 4）数据API服务。通过4种数据交换模式覆盖政府部门内各种场景的数据交换。1.3.2.1 数据资源目录 目录服务系统的主要功能是采用元数据对信息资源特征进行描述，形成统一规范的目录内容，通过对目录内容的有效组织和管理，形成目录信息库，为信息资源的交换、共享以及对应用的支撑提供信息资源的发现定位服务。遵循统一的标准规范组织管理所有共享交换信息资源，并通过目录服务系统基于目录信息库，向用户提供目录内容查询检索服务。通过目录服务系统建设推进，对各个业务部门信息资源进行编目，便于全面掌握省级部门整体信息资源状况。1.3.2.2 直接交换模式直接交换模式属于较为传统的数据
8、交换模式，交换之后数据会发生物理搬移，直接交换模式支持大多数关系型数据库、大数据平台（Hadoop、Spark、ODPS）、文件等类型的数据资源。这种交换模式提供增量、全量的数据交换功能，增量交换时可配置周期性的交换任务，也可配置实时获取增量的任务，确保数据能快速、安全、可靠的同步至目标端。下图是直接交换模式在某市的实际部署方案，该方案主要基于数据交换网关、数据交换中控、资源目录系统，以及需要政务云上提供部门共享库（云上前置库）、数据交换中心库（推荐RDS for mysql5.6）等服务。如下图所示，直接数据交换方案图1.3.2.3 共享交换模式随着数据量的增加以及业务对种类型数据资源的需求
9、增多，大数据平台在政务当中的使用将成会一种常态，开源的Hadoop、Spark、阿里的MaxCompute（即ODPS）以及其他的大数据平台产品将部署在政务云上。大数据平台具有海量数据的处理能力，同时它也具有多租户的特性，各部门的数据将会存储在各租户之内，租户间存储、计算等资源隔离，默认情况下无法直接跨部门访问数据。共享交换模式主要针对这种大数据平台下多租户间的数据交换，这种模式的交换数据不发生物理上的搬移，“数据可用、交换不搬家”，实现直正的极速交换。 1.3.2.4 安全交换模式安全交换方案是面向大数据平台的另外一种的数据的交换模式。当部门C需要部门A与部门B的数据进行计算所得的结果数据时
10、，但因为提供方的明细数据中含有敏感信息，不宜对外开放共享，但数据的需求方又利用这些数据计算出某种结果，就需要安全交换，安全交换会将双方相应数据放入安全交换空间中进行不公开计算，并将计算所得结果提供给需求方。安全交换实现了数据的可用不可见。1.3.2.5 API服务模式API服务方案用于满足以下场景:数据供应方不希望直接暴露业务数据库，而是以RESTful 等API接口对外提供数据访问服务。以API接口方式提供服务，让数据共享更加安全便捷。API也可通过资源目录系统进行交换共享。1.3.3 平台特点1.3.3.1 丰富的数据源支撑平台支持多种数据源，包括大部分主流的关系型数据库，比如：Oracl
11、e、MySQL、DB2、Teradata、SQL Server、PostgreSQL、Sybase、DB2等，此外还支持Hadoop平台的Hive以及阿里的开放数据处理服务（ODPS）、分析数据库服务（ADS）组件、RDS for mysql 5.6。1.3.3.2 提供API订阅在某些场景下，数据供应方不希望直接暴露业务数据库，而是以RESTful API的方式对外提供间接的数据访问服务。对于供应方来说实现RESTful API技术难度不大，但用户访问安全方面往往考虑不足，容易被恶意用户利用；此外需要对外提供API使用手册，耗时费力，运营成本较高；对于API使用者来说往往需要分散获取各个AP
12、I，耗时费力，此外各个API接口认证方式不同导致且编程复杂度提高，不利于快速开发。资源目录系统提供数据API以降低传统RESTful API开发使用的复杂度，以数据目录的形式提供API的汇聚，以方便开发者快速获取到对应的资源；提供API录入界面，以方便生成API文档；提供代理访问真实API的能力，数据供应方的真实API仅暴露给资源目录系统, 其它用户看到的都是资源目录系统提供的代理访问地址；为上层开发者提供统一的认证机制及数据获取机制，以方便快速开发。数据API交换方式简化示意图如下：数据API交换流程图1、API供应方发布数据API后，使用方可以浏览API相关信息，并可申请使用该API；2、
13、资源目录系统把审核权请由供应方，审核通过后由平台生成API代理访问地址，并告知申请人；3、API使用方调用API, 由数据API网关完成权鉴及调用转换。1.3.3.3 数据安全数据是部门的核心价值，数据安全属于资源目录系统的核心任务，从多个层面来保证部门数据的安全。 基于RBAC对用户进行角色权限管理，用户只能在权限范围内进行操作。 部门目录库与中心目录库分离，以保证部门数据不被中心私自使用。 严格的审批流程，以保证部门数据的受控流出。 严格的权限控制，以保证用户仅能获取授权数据。 完整的数据操作日志，以方便审计。 新型的交换模式，以保证敏感信息不被泄漏。 数据加密传输，防止数据传输过程上被截
14、获。1.3.3.4 高可靠性平台采用分布式架构，在负载均衡层和业务处理层均采用多点部署方式，避免单点故障导致整个系统不可用。同时负载均衡层的负载均衡组件，可以在业务高峰时自动进行业务分流，提升业务的整体性能。1.3.3.5 易用性 门户界面采用BS架构，拥有直观易用的用户界面，数据的发布、撤销、浏览和获取均通过Web页面操作完成。同时，不同角色的用户登录后展示的用户界面不同，比如管理员可通过管理中心监控整个系统数据发布和交换情况，简单明了。1.3.3.6 高性能由于使用了分布式的架构，通过扩展工作节点的方式可以线性的提升平台的整体处理能力，同时，数据交换网关内部的作业调度采用业界比较成熟的任务
15、调度框架，提供job的统一调度，对job提供多种执行方式，减少由于作业之间的资源争抢导致的性能下降。单工作节点的处理能力可达30M/s，满足大数据量数据交换的应用场景。1.3.3.7 高可靠性数据交换网关的分布式架构在前端处理层、任务调度层、集群处理层及任务处理层均采用多点部署方式，避免单点故障导致整个系统不可用。在web serivces和任务调度的前端，还部署了负载均衡组件，实现在业务高峰时间的自动分流，提升调度平台的整体性能。管控节点及作业节点均为多点部署，单点故障的情况下，不影响整个集群的运行。由于作业元数据保存在元数据库中，数据交换网关还支持任务断点续传功能，保证整体作业的高可用，避免整个作业重跑，提升任务效率。在子任务失败的情况下，对已经部分完成的动作进行自动回滚，避免部分入库导致整个ETL失败并不可逆的情况发生。1.4 数据资源目录子系统1.4.1 系统概述信息资源库中包含的信息资源种类繁多、数量庞大，必须采用计算机技术，建立起强大、灵活、方便的信息资源导航和检索系统，才能真正共享和使用这些信息。信息资源目录为使用者提供了检索信息资源的便利措施。信息资源
