《数据治理平台系统介绍课件》由会员分享，可在线阅读，更多相关《数据治理平台系统介绍课件（55页珍藏版）》请在金锄头文库上搜索。
1、国家开发银行 数据治理平台系统简介,2008年11月,数据治理项目组,2,系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块,议题,3,建设背景,数据平台一期已构建完成并投入使用，所面临的问题： 数据标准缺乏结构化管理 源数据变化造成数据平台数据混乱 对数据平台数据问题如何快速定位原因？ 如何有效监控和改善数据平台数据质量？ 。 建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。,4,
2、项目目标,围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点： 数据标准规范化-规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。 数据关系脉络化-实现对数据间流转、依赖关系的影响和血缘分析。 数据质量度量化全方位管理数据平台的数据质量，实现可定义的数据质量检核和维度分析，以及问题跟踪。 数据服务电子化-为数据平台提供面向业务用户的服务沟通渠道。,5,数据治理平台构成与定位,ODS,Schemas,数据集市,数据流,数据平台,管理行内数据标准,管理平台元数据，进行数据影响、血缘分析,管理平台数据质量,提供平台沟通渠道,核心业务系
3、统,信贷业务系统,信用风险管理系统,系统,管理会计,风险,数据标准,元数据管理,数据质量 管理,数据服务,分析类应用系统,数据抽取,数据提供,6,对数据平台业务的支持数据标准,7,对数据平台业务的支持元数据,数据服务,元数据子系统,元数据管理员,数据平台,数据源系统,数据抽取,查询数据平台相关元数据，为开发应用提供参考,数据变更影响评估申请,数据变更影响分析 数据问题血缘分析,应用开发者,8,对数据平台业务的支持数据质量,数据质量检核,业务部门,应用开发者,数据质量管理员,定义检核需求与规则 分析数据平台数据质量 发现、发布数据检核问题,了解本机构特定系统数据质量 提出业务数据质量检核需求,针
4、对数据质量问题提出完善建议,9,对数据平台业务的支持-数据服务,10,数据治理相关系统关系,AD(目录)系统,统一用户管理系统,数据平台,数据服务子系统,数据质量管理子系统,元数据子系统,数据标准子系统,提供标准相关元数据,提供库表结构元数据,执行检核,提供检核系统元数据,统一认证与用户管理模块,登录认证,用户与机构信息同步,单点登录与角色管理,数据治理平台,11,系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块,议题,12,13,系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统
5、 数据服务子系统 统一认证与用户管理模块,议题,14,功能需求,管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。,15,应用界面,16,应用界面,数据标准文档管理,数据标准制订,数据标准导入,数据标准文档 版本管理,17,应用界面,数据标准信息项管理,公共代码管理,数据标准管理,18,应用界面,数据标准反馈意见,查看反馈意见,反馈意见,19,逻辑架构,20,系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块,议题,21,功能需求,对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管
6、理，实现数据间的血缘分析和影响分析。,22,功能需求,23,应用界面,24,业务元数据,报表表头,报表清单,报表表头定义,报表表样导出,应用界面,25,业务元数据,报表指标,查看指标相关ER图,应用界面,26,技术元数据,影响分析,应用界面,27,逻辑结构,28,采集适配器,元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。 在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。,29,元数据存储结构,元
7、数据存储模型层包括两部分内容： 元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。 元数据实例存储，元数据实例存储到关系数据库中。,30,系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块,议题,31,系统目标,根据“数据质量检核管理办法”中PDCA方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。,检核调度,检核对象,收集需求,分析规则,规则库,执行,问题数据,修正,检核需求,检核指标,检核调度 管理,数据质量 检核分析,数据质量 问题管理,数
8、据质量 趋势分析,数据质量 知识库,32,数据质量度量分类,33,功能需求,34,功能需求,35,检核系统管理,应用界面,36,检核指标管理,主键唯一,应用界面,37,检核调度策略管理,业务解决方案,应用界面,38,数据质量检核分析,问题分布分析,批次对比分析,应用界面,39,数据质量问题管理,问题发现,应用界面,40,逻辑结构,三个层面： 定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息； 执行层：使用已定义的检核配置信息，对数据平台数据进行检核； 分析层：对检核执行结果进行定量、定性的分析与处理。 前后端： 前端：用户使用基于操作界面的应用程序进行交互式
9、的检核信息定义、检核结果分析等功能； 后端：系统根据检核策略在后台自动执行，无需与用户交互。,41,检核调度与分派,42,检核规则处理器类别,存储过程：固定SQL,存储过程：自定义SQL,固定Java程序,自定义Groovy规则脚本,固定,自定义,简单,复杂,43,Groovy脚本示例,package groovy import java.sql.Connection import java.sql.ResultSet import groovy.sql.Sql import cn.cdb.backend.RuleHandler /* * author 马春宇 2008-11-11 */ pu
10、blic class exampleGroovyRuleHandler extends RuleHandler /groovy数据库执行句柄 def sql_DQDB,sql_DPDB void init(long KPP_BH,Connection CONNS) super.init(KPP_BH,CONNS) sql_DQDB=new Sql(conns0) sql_DPDB=new Sql(conns1) /该方法目标：定义扫描检核目标表的SQL语句。 /sqlHead=“select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,
11、t0.* from ODS_EFF.CDBCT_CONT_INFO t0 “; private String getSqlScanTarTable(String sqlHead) String sqlScanTarTable; String cusClause; /-自定义部分-开始 cusClause=“ where (t0.TranSourCoun is null or trim(t0.TranSourCoun)=) and t0.data_end_date=99999999“; /-自定义部分-结束 sqlScanTarTable=sqlHead+cusClause; return sq
12、lScanTarTable; /该方法目标：描述对单记录的检核规则,如是问题记录则返回false，否则返回true private boolean exeSingleRecCheck(ResultSet rs) boolean succFlag=false; /-自定义部分-开始 String CredStatNo; CredStatNo=rs.getString(“CredStatNo“); def it=sql_DPDB.firstRow(“select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo = ?“,CredStat
13、No) if(it.LoanType in “51“,“52“,“53“,“54“) succFlag=true; /-自定义部分-结束 return succFlag; ,44,采用技术,前端 基于Ext Ajax、Spring、hibernate技术实现： 检核配置定义 数据质量问题管理 知识库管理 数据质量对比分析、检核报告 系统管理 基于Cognos报表系统实现数据质量分布与趋势分析 后端 基于Java、多线程技术实现检核调度与分派 基于数据库Job Schedule、存储过程实现存储过程检核策略 基于Groovy脚本技术实现复杂自定义检核规则的执行,45,系统目标与定位 技术实现架构
14、 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块,议题,46,数据平台服务单流程,47,功能需求,48,数据服务审核,审核申请,功能界面,服务分配,49,功能界面,数据服务实施,任务创建,任务签收,服务验收,50,逻辑结构,控制层逻辑,业务实体关系,51,统一认证与用户管理模块,实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。,52,系统目标与定位 技术实现架构 数据标准管理子系统 元数据管理子系统 数据质量管理子系统 数据服务子系统 统一认证与用户管理模块,议题,53,用户访问, 访问,用户认证,单点登录,用户信息获取,平台子系统, 登入, 保持用户身份,平台主控界面, 访问子系统, 验证用户身份, 进入子系统,54,实现逻辑,单点登录,行内用户统一管理 全量 增量,55,谢 谢！,
