山东政务信息系统整合共享工程大数据管理平台

《山东政务信息系统整合共享工程大数据管理平台》由会员分享，可在线阅读，更多相关《山东政务信息系统整合共享工程大数据管理平台（16页珍藏版）》请在金锄头文库上搜索。

1、山东省政务信息系统整合共享工程大数据管理平台项目需求和技术方案要求一、项目概况（一）建设目标通过大数据管理平台建设，建立统一的数据资源汇聚、数据治理、数据资源引擎和数据 安全管理能力，实现大数据基础设施的集约共用和对全省政务信息资源的统筹管理和数据治 理。将现有“逻辑集中、物理分散”数据共享交换方式向数据实体集中存储管理方式转变， 建立完善的数据安全管理体系，实现由数据“资源”向数据“资产”的提升。（二）建设原则1. 开放性平台应具备良好的开放性，提供开放接口便于和第三方系统对接或者基于该接口构建新 的业务。2. 先进性在设计理念和技术体系等方面需借鉴先进的互联网技术，确保应用系统架构满足未来

2、业 务发展需求。3. 扩展性平台应具备规范的开发接口和高可扩展性，保证未来新的需求提出时可以方便地应用到 现有系统中。4. 可维护性平台应具备良好的维护性，方便今后的扩展应用和运行维护。5. 安全性平台应具备高安全性，确保系统正常运行的同时防止政府内部数据泄露。（三）建设周期2个月。（四）采购清单序号名称单位数量技术要求1数据汇聚系统项1具体要求见：数据汇聚系统建设内容。2数据治理系统项1具体要求见：数据治理系统建设内容。3数据资源引擎项1具体要求见：数据资源引擎建设内容。4数据安全管理建设项1具体要求见：数据安全管理建设内容。二、建设内容2.1数据汇聚系统建设内容数据汇聚平台支持通过图形化的

3、操作方式，把不同系统来源、不同类型的数据汇聚到大 数据平台，能够兼容以SHE（Spark、Hadoop、ElasticSearch）为首的大数据生态技术栈； 并提供基础算子如关联、去重、过滤等完成数据转换。可以通过机器学习实现多人协作开发， 提供脚本开发，工作流开发环境，能够针对任务资源实现共享以提升实施效率，可以提供基 于消息流和文本的实时采集能力；提供精细化的任务调度管理，便于查看每个任务具体的数 据处理情况，实现数据汇聚和加工处理一站式开发管理。2.1.1 多源数据采集1）支持离线数据采集，实现对各种主流数据库系统的支持，如 Oracle、DB2、SQL Server、Sybase、In

4、foMix等主流数据库，MySQL、PostgreSQL等开源数据库，达梦、汉高、 神通、GBase8t、KingBase、LibrA等国产数据库。2）支持提供触发器、时间戳、全表对比、系统日志分析等多种数据增量采集方式。3）支持大数据采集，实现HBase的输入输出转换组件，可连接的数据库类型支持 Hadoop Hive，提供Hadoop HDFS文件拷贝的任务组件。4）支持实时数据采集，实现基于Flume+Kafka技术来采集流数据，能够接入HDFS、 Hbase或Storm消费数据。5）支持对FTP、SFTP、MONGODB文件服务器的文件采集，支持包括普通文本、CSV、XML、 Exce

5、l等多种格式的文件。2.1.2 可视化的流程设计1）支持ETL作业调度流程和转换流程，能够通过图形化界面设计ETL转换过程和作业， 支持后台批量运行ETL转换。2）支持200种以上的主流数据处理组件，包括数据文件采集组件，清洗组件，大数据 组件等。3）支持图形化拖拽方式进行任务编排，将多类有顺序或者依赖关系的任务能够串接起 来。同时提供任务流的管理能力。2.1.3 统一的任务调度1）支持多种任务管理，包括批量采集任务、实时采集任务、数据流任务等，支持多种 调度参数设置，可以根据业务分类或者组织分类进行任务流分类管理。2）支持任务监控，能够实现可视化多角度的作业运行监控，包括总览全局的总体监控、

6、 明细型的计划监控和事件监控等。3）支持任务流的调度管理：支持人工触发执行，也支持周期性调度执行。支持分钟、 小时、天、月、年。4）支持邮件报警，可配置报警规则，可通过邮件报警的方式通知责任人。2.1.4 多人协同作业1）支持多账户管理：创建、删除、权限管理，以及账户间的数据隔离。2）支持多用户随时操作同一资源库中的流程，支持多人同时协同开发。2.1.5 集群化管理1）支持平台分布式部署，通过分布式架构，可进行数据采集、处理节点的扩展，提高 任务执行效率。2）支持集群化管理，对所有节点进行统一管理。3）支持ETL负载均衡，根据任务执行情况，合理调度任务的执行。2.2数据治理系统建设内容数据治理

7、平台为政务数据资源提供集中的数据治理服务，支持元数据管理、数据标准管 理、数据质量管理、数据资产管理、数据安全管理、数据服务管理、主数据管理以及全生命 周期管理等，建设数据标准规范，支持元数据的血缘分析、影响分析和全链分析，提供数据 资源的注册、审核、发布，对业务进行拆分和微服务化，支持对资源服务接口的快速封装， 和对外多种方式提供数据资源，可以为用户提供一套完整的数据治理解决方案。2.2.1工作台1）数据治理平台提供代办事项工作台的快捷入口。2）支持在工作台中实现标准配置、质量检核任务配置、任务监控、问题数据处理与分 析、数据服务管理、数据源管理等功能。3）支持从工作台中直接快捷进入各功能模

8、块，支持图形化操作。2.2.2元数据管理1）数据治理平台支持OMG Common Warehouse Metamodel （CWM）元数据标准，实现 对业务元数据、技术元数据、管理元数据的统一管理和存储。2）支持从数据采集系统、数据仓库、以及Oracle、mySql、MppDB等主流数据库中采 集元数据、定义元数据采集频率。3）支持元数据基本信息管理，如元数据的增加、删除、修改、技术元数据基本信息比 对、版本比对。4）支持基于元数据的分析，如分析继承关系、组合关系和依赖关系，数据血缘分析、 数据影响分析等。2.2.3数据标准管理1）支持制定数据标准来防止数据用语的混乱使用，保障数据的正确性和准

9、确性。2）为数据质量规则检核提供标准支撑，数据标准包括数据元、数据集、代码集3个类 别。3）支持数据标准规则管理，支持数据标准的分类管理、目录分类、编码规则管理和标 准审核等功能。4）支持数据标准的配置、删除、修改、发布。5）支持行业数据标准集成。2.2.4数据质量管理 1）支持对数据采集、数据存储、数据服务过程每个阶段数据质量的核查和管理能力： 支持对数据资源库中的数据进行稽查。2）支持从格式、构成、编码、内容等方面对数据提出质量要求；支持数据质量规则的 配置、编辑、执行，包括数据比对、数据质量检核等规则的配置。3）支持定制数据质量核验脚本，对数据进行人工检查与清洗。4）支持对数质量问题进行

10、处理管理，在平台中发起数据问题工单，并对质量问题处理 工单进行过程管理。5）支持在数据采集、数据整合、数据共享服务过程中质量规则的执行情况进行监测监 督。6）支持对数据质量检验、管理工作的处理结果进行统计分析，定期形成数据质量报告， 数据质量报告中包括数据问题处理单数、问题数据比例、数据问题（一致性、准确性、完整 性等）、质量问题原因、改进措施等。2.2.5数据服务管理1）支持数据资源服务的注册，审核、授权、发布、调用和监控等功能。2）支持快谏接入新数据服务，方便用户与上层应用快谏获取和使用数据，应包括： 服务管理、服务审核、订阅审核、服务监控、数据访问API快谏发布与管理、用户管理、 系统管

11、理等内容。3）提供数据资源目录，支持数据资源查看、下载、接口调用、数据调阅四种方式。4）支持数据资源目录查找，按数据源和数据表查询，并能看到最近历史查询和我的查 询记录等。5）支持敏感数据确定和脱敏规则定义。2.2.6调度中心1）提供强大调度引擎支撑各种复杂的任务调度流程高效运行，能够为海量异构数据的 校验和同步提供保障。2）支持数据治理任务的统一调度管理与监控，应包括任务管理、任务监控和报警规则 等功能。3）支持数据治理任务的配置、修改、删除。4）支持预警报警规则的设置，对数据治理过程中的执行错误、质量问题发出通知。2.2.7消息中心1）数据治理平台支持统一的消息机制。2）支持数据治理任务导

12、入后在后台运行。3）支持监控后台运行任务的进度和执行结果，应包括：消息类型、运行状态、操作人、 开始时间范围等内容。2.2.8数据资产管理1）支持对数据资产进行全生命周期管理，支持在采集、整合、共享应用阶段中对数据 资产监控的能力。2）提供数据资产的统计分析和灵活查询能力，以及对数据的使用情况等进行查看和展 现，应包括：数据查询、数据网盘和数据地图等功能；通过查询功能方便政务数据申请者检 索所需数据资源；通过数据网盘，方便用户对数据的储存共享分享；数据地图支持用户便捷 的了解数据资源分布情况。3）通过采集汇总数据资产的标签信息，对数据进行分类统计。2.2.9基础配置数据治理平台应提供基础配置功

13、能，支持对整个系统的相关功能模块的基础性参数配置 和管理，应包括：1）支持数据源管理，通过对集成收集来的数据源配置信息和元数据进行分析，对数据 源进行集中、分级管理。2）支持建模设计，构建数据治理过程中所需的数据模型。3）支持系统日志分析，监控任务运行状态跟踪、数据资源使用记录、数据安全等。4）支持用户管理，对用户进行集中管理，实现用户角色、角色权限的管理。2.2.10数据标准规范建设在数据治理平台在开发实施过程中，需要根据数据治理建设目标、以及数据标准与规范 的现状，制订一套适用于山东省政务业务的数据标准规范，并指导用户完善数据标准体系建 设，规范各类政务数据的标准，提升省政务数据的整体质量

14、。2.2.11数据治理服务在数据治理平台实施过程中，需要根据委办局的治理需求，提供端到端的数据治理服务， 帮助委办局的数据产生者、数据使用者提升数据质量，对数据质量问题进行处理；并根据业 务特性和行业标准规范，指导用户对数据进行标准化改造。2.3数据资源引擎建设内容2.3.1数据资源管理1）支持大规模集群的安装部署、性能监控、告警、用户管理、权限管理、服务管理、 日志采集、升级和补丁等功能。2）支持基于分层解耦的多层架构，解决了海量节点的管控问题。3）支持多种类型的北向能力，并且有能力快速支持未来出现的北向接口需求，确保平 台有机融入用户管理系统。4）支持按照不同的组织结构，操作权限和数据权限

15、等创建不同的角色，实现灵活配置;5）可实现一个用户只属于一个用户组或拥有多个角色及多个权限，可实现集成用户组 的用色和权限控制。6）所有的维护人员凭借有效的帐号和正确的密码登录ETL系统。7）所有用户在进行对作业的各种操作室，进行认证鉴权是否有相应的操作权限。8）日志管理功能记录管理平台自身运行情况、管理员和用户的操作情况。9）具备故障告警、上报等功能。10）支持向导式备份任务管理，把集群中元数据与业务数据备份到另一个集群。11）数据资源引擎需为国产化商用产品，可提供本地化原厂服务能力。2.3.2批量数据采集1）支持实时采集流式数据，针对Socket流或者日志文件等的数据实时采集，可以实 现数据准实时同步，保证数据的一致性，将实时数据同步到相关数据库中。2）支持采集批量数据，实现与关系型数据库、ftp文件服务器之间数据批量导入/导出 工具；同时提供任务调度接口，供第三方调度平台调用。3）支持对Redis操作按照读取、写入、管理进行细分的权限控制，不同的用户赋予不 同的权限，避免越权的操作，redis组件支持