大数据治理平台规划设计

《大数据治理平台规划设计》由会员分享，可在线阅读，更多相关《大数据治理平台规划设计（11页珍藏版）》请在金锄头文库上搜索。

1、大数据治理平台规划设计目录1、大大数据治理平台概述 32、大大数据治理平台需求分析 43、运行管理 44、大数据总线 54.1、资源采集管理 54.2、资源处理管理 64.3、资源共享管理 65、资源目录管理 65.1、资源分类管理 75.2、大数据资源注册 75.3、目录内容发布 85.4、目录检索 85.5、主题库 86、规则管理 87、大数据质量审计 98、监控管理 99、统计分析 1010、平台配置 111、大大数据治理平台概述大数据交换平台为智慧湘潭提供信息交换与共享服务，基于成熟 的大数据大数据交换中间件，实现业务平台、多部门的点对点、点对 多、多对多等的交换方式；满足批量大数据交

2、换、单条大数据查询、 大数据请求服务、FTP等多种交换模式；预留接口，适应后续不同的 部门的交换接入需求。基础架构、核心内容、关键技术和基本功能的 要求，满足大数据的采集、同步、处理、传输等需求，同时也充分考 虑用户权限，安全审计等方面的需求。2、大大数据治理平台需求分析支持常见关系型大数据库、支持ODBC大数据源、支持常用文件格式、支持常见协议、支持常见接口方式，支持大数据转换；支持自由设定采集大数据表、字段，支持行过滤，支持多任务并行采集；支持大数据库存储过程及函数的调用；支持对采集的大数据按投标方自己设计的大数据字典标准进行转换；对于大数据交换的运行策略，要求能够定义绝对时间和相对时间；

3、支持实时和定时调度机制；提供图形可视化监控与管理工具；支持大数据交换过程（双向的，包括大数据采集和共享）的实时可视化监控；支持大数据完整性校验；支持断点重传或续传；支持节点程序绿色安装；支持网络环境对用户透明；交换过程与大数据质量可视化；平台大数据交换高性能。3、运行管理运行管理是对整个大数据资源交换所运行的所有IT实体，包括 服务器、接入交换节点信息以及交换流程等软件模块进行管理，其中 包括对平台服务管理、交换中心控制管理和交换流程管理。通过运行管理用户可以明确交换服务器的运行状态，适配器配置 与交换流程定义和部署的状态等等，从而从资源管理和使用者角度而 非基础软件角度有效的管理大数据交换过

4、程中涉及到的运行环境与 实体。包括交换网络管理、节点管理、服务器管理、大数据库管理、大 数据源管理，可以对交换与共享网络中各类硬件和平台软件资源进行 管理。其目标是对整个交换网络的基础设施进行定义和描述。4、大数据总线此功能负责管理大数据资源的流转。根据大数据中心的业务特 点，将大数据资源的流转划分为采集、处理、共享三个阶段。服务誉谊方数摇订 阅方Bp数据数据订 阖方3采集来 源库中心其 享库-中心前数据 共前数据中心-裁据 处理,（淸洗 转换卜服务 共辜*4.1、资源采集管理平台提供向导式的资源采集管理功能，主要负责将来源端大数据采集到大数据中心。对已经配置好的资源，进行采集，平台提供资源

5、采集方案的配置管理，包括资源采集方案的新增、修改、删除、启用、 停用、执行监控等功能。4.2、资源处理管理资源处理包括对原始大数据的清洗、转换、整合，通过处理加工 后，形成可以对外共享的大数据。平台提供对资源处理的配置管理， 包括各类处理规则的配置、处理方案的配置、维护管理、监控、查询 等功能。4.3、资源共享管理负责将大数据资源通过本平台共享给大数据需求方。本产品提供 大数据交换与服务共享两种共享方式。大数据交换方式，生成交换流程将大数据资源推送给需求方；服 务共享方式，将大数据资源封装成Web服务，需求方通过请求该服务 获取所需大数据；服务共享还支持对第三方Web服务的转发调用。资源共享可

6、以做到大数据行级与字段级的共享权限控制。大数据资源只要在资源目录 中发布就通过资源共享管理功能共享出去，不一定要经过采集、处理 阶段。5、资源目录管理资源目录管理包括大数据资源注册、目录内容发布、目录检索、 主题库管理等子功能。目录检索：对已编目的大数据资源进行分类检索；用户只能检索到有权限访问的大数据资源。主题库：指符合一定业务逻辑、能表述一类业务的大数据资源的集合。大数据集采集定义：对于大数据中心按大数据集结构存储实体大数据的业务场景，可以定义为此大数据集的大数据提供机构，以及各组织机构分别提供哪些大数据元的实例大数据。大数据集手工采集：大数据集的大数据提供机构人员登录平台后，可通过该功能

7、手工填写大数据，完成大数据采集过程。5.1、资源分类管理平台提供资源分类管理功能，用户能在该模块定义维护所有资源 分类，并且，可以将多种分类定义为一套标准，可维护多套分类标准， 即实现资源的多维度分类。如：一、定义企业基础信息类资源、企业 运行信息类资源等，并定义为主题分类标准；二、定义工商部门信息 类资源、质监部门信息类资源等，并定义为部门分类标准。5.2、大数据资源注册当定义完资源分类后，可以对大数据资源进行登记。大数据资源 又分为文件类型大数据资源、 大数据库类型大数据资源以及 webservice 类型大数据资源三种，分别对应不同的资源采集交换方 案，同时，对需要共享的大数据资源还需要

8、注册发布到资源目录中并 进行编目处理。平台提供大数据资源的新增、修改、删除、注册、发布、查询、预览、刷新等操作。5.3、目录内容发布目录内容发布是将已注册的大数据资源发布到资源目录中，同时 对这些资源进行编目处理；发布时还可对大数据资源访问权限进行管 理。当发布资源目录时，先要进行目录内容的定义，包括元大数据定 义、资源分类、关键词设置等，完成对资源的编目管理，便于资源的 发现、定位。5.4、目录检索对已编目的大数据资源进行分类检索；用户只能检索到有权限访 问的大数据资源。5.5、主题库指符合一定业务逻辑、能表述一类业务的大数据资源的集合。用 户可以根据业务逻辑，建立不同的主题库，如：企业基础

9、信息库、企 业运行库、综合分析库、行业分析库等，便于各部门进行资源的发现、 定位及共享。平台提供主题库的维护管理，包括新增主题库、修改主题库、删 除主题库、查询主题库等操作功能。6、规则管理规则管理基于规则引擎技术，内置规则模型，实现对接入部门的 验证、对大数据的处理、对大数据质量的审计等。规则引擎：自动解析各类规则，并负责分发给各平台模块执行。验证规则：支持 CA 验证，并内置部门接入的验证规则。大数据处理规则：分析各部门实际大数据内容，内置各部门大数 据的清洗规则、转换规则及大数据路由规则。大数据质量审计规则：按照各部门大数据质量标准，内置各类大 数据质量审计规则。7、大数据质量审计对资源

10、处理过程中与大数据清洗规则不相符的大数据进行统计分析。8、监控管理大数据质量监控子平台主要确保大数据采集、大数据传递的及时 性、准确性，实现对信用信息共享交换的监控，同时，为信用信息报 送考核提供大数据基础。由于各部门业务大数据都通过交换平台进行加工处理及传输，交 换平台对大数据处理得如何，是否正在传输，是否出现异常等方面都 可以反应出大数据的质量问题，因此应该从交换平台的运行情况、硬 件设备运行情况、流程、节点、大数据量、大数据内容等方面对其进 行严格而全面的监控。这样才能能够快速定位出现质量问题大数据的 问题源，从而解决问题。1、监控中心监控中心是监控平台的服务与管理中心，不仅对所有监控代

11、理提 供监控服务接口，并对所有监控代理进行的统一管理与调试，此外还 提供平台管理，对组织机构、人员、权限等方面进行统一管理。还提供网络拓补图以方便查看整个交换网络的连接情况。2、统计查询可以对代理节点的情况进行统计，根据业务规则及需求，可设置 统计指标，进行制定查询。如按时期统计代理节点掉线次数，按节点 与时间统计大数据交换量，大数据流量等。3、平台管理平台管理平台除了提供日常管理的主要功能，包括日志管理、用 户 IP 地址、用户名、登录时间、操作的业务及所做的操作、离开时 间等，还提供平台管理主要包括机构人员管理、参数管理、权限管理、 资源管理、角色管理、组管理和工作流管理。机构人员管理提供

12、部门、 人员维护功能，部门基本信息包括：机构名称、机构代码、创建人、 创建时间。人员基本信息包括：登陆名、姓名、职务、性别、电话、 密码、手机及邮件地址信息。参数管理提供所有平台参数集中统一管 理。权限管理则是通过可视化界面，实现所有权限配置。资源管理提 供对平台的资源的可配置管理。角色管理完成对统一权限管理的用户 角色定义。组管理实现对现有的人员进行动态的分组，通过定义好的 组，可以进行快速的人员选择。9、统计分析统计分析用于对交换日志、目录日志、其他交换日志从不同的角 度进行展示分析。提供部门交换信息量统计分析及展现功能，实现资 源交换总量的统计，接入机构的统计，按交换次数、大数据量、条目

13、 等标尺进行排名的统计与排序，按大数据交换提供和接收的不同角度 进行统计和排序，进行组合统计与分析。统计分析用于对交换日志从不同的角度进行展示分析，统计分析 分为专题统计，组合统计，综合统计三大类。综合统计按照各部门使用交换平台交换的次数和信息量进行统计，结果可 以展现为表格、线、柱、饼等不同图状。按照资源在交换平台交换的 次数和信息量进行统计，结果可以展现为表格、线、柱、饼等不同图 状。专题统计 为了方便用户快速获取常用统计信息，基本上采取一键展现或最 多可以选择单个条件的操作方式。平台可提供如下对如下专题信息的统计分析：信息上载，时间访 问量，信息条目访问，栏目访问，交换次数排名，交换信息量排名， 交换大数据条目排名等。 组合统计 可对通过交换平台交换资源的日志按照时间段、部门、应用平台 等进行组合统计，统计出某个时间段的次数和信息量。10、平台配置 平台配置用于对大数据资源管理平台运行时需要使用的平台参 数与规则进行配置。校验规则管理：是指大数据清洗时使用的规则，可以对一个大 数据资源（表）的一到多个字段定义规则，校验大数据的格 式、取值范围、多字段间的逻辑关系等。权限管理：管理组织机构、用户、菜单权限。平台参数：管理平台运行时的可配置参数。