《数据质量管理最新版本ppt课件》由会员分享，可在线阅读，更多相关《数据质量管理最新版本ppt课件（57页珍藏版）》请在金锄头文库上搜索。
1、.,数据质量管理解决方案,.,目录,数据质量管理概述 数据质量问题解决之道 数据质量管理产品简介 产品实施案例及场景分享,.,数据质量管理概述数据质量问题域,.,全领域的导致数据质量问题的原因识别,数据质量问题,信息问题域,技术问题域,管理问题域,流程问题域,唯一性,一致性,完整性,度量,合法性,准确性,业务系统数据变化周期,变化频度,实体数据刷新周期,技术元数据,业务元数据,元数据,数据创 建延迟,默认值使 用不当,数据校验 规则不当,数据创建,取数时点 不同步,数据源不当,接口数据获取 过程中失真,数据获取,展示方式,展示工具,展示周期,数据使用,维护验证机制,数据存储能力,数据备份恢复,
2、数据维护,人为调整数据,及时性,数据传递,网络传输过程不可靠,传输技术,文件传输方式出错,数据清洗算法,数据装载,数据加载算法,数据转换算法,调度机制,硬件平台,平台孤岛,软件平台,安全管理,错误数据维护流程,数据测试流程,变更维护流程,数据维护,人为调整数据流程,数据使用,数据创建,数据转换流程,数据加载流程,调度流程,数据装载,数据清洗流程,稽核流程,稽核传递,奖惩制度执行,奖惩制度,反馈机制,激励,反馈渠道,培训资金,培训内容,培训计划,培训,培训制度,目标,工作优先级,责任人,管理,责任心,培训时间,优先级高,优先级中,优先级低,.,数据质量管理概述数据质量度量规则,完整性,唯一性,一
3、致性,精确性,合法性,及时性,主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失四个方面,指主键唯一和候选键唯一两个方面,指统一数据来源、统一存储和统一数据口径,指计量误差、度量单位等方面的精确程度,主要包括格式、类型和业务规则的有效性,指数据刷新、修改和提取等操作的及时性和快速性,.,阶段1 初始级,每个系统都是分离的数据管理 非标准的独立的数据管理,企业集成数据管理 标准化元数据管理,阶段2 定义级,阶段3 管理级,阶段4 优化级,通过数据库 进行数据管理,通过模型管理 进行数据管理,通过元数据 进行数据管理,通过企业标准数据 架构进行数据管理,数据质量管理产品简介数据质量成熟度模型
4、,.,目录,数据质量管理概述 数据质量问题解决之道 数据质量管理产品简介 产品实施案例及场景分享,.,数据质量管理策略 数据质量管理方法论 数据质量管理关键点,数据质量问题解决之道,.,管理策略,质量检核运行,质量问题报警,质量问题分析,问题管理流程,数据质量指标,数据质量,数据质量管理概述数据质量管理策略,.,1.定义业务需求和方法,2.分析信息环境,3.评估数据质量,5.识别根本原因,6.制定提升方案,7.预防未来数据错误,10.沟通行动和结果,4.评估业务影响,8.发现及纠正当前数据错误,9.实施监督控制,评估,认知,行动,数据质量 提升周期,10步流程,数据质量管理方法论,.,数据质量
5、管理关键点,制定规范的数据质量度量标准 建立有效的数据质量监管体系 建立完善的数据质量管理制度 高质量的数据来源于数据标准、数据分析、检验以及管理制度的综合作用,.,场景分析：唯一性校验,存在问题 某ODS系统中，对私客户主题中的客户信息不允许重复，客户身份证号字段可以作为客户唯一的标识，为了保证系统中客户信息的正确，需要对系统中客户基本信息表增加唯一性校验。 解决方案 数据质量管理系统中提供了规范的唯一性校验规则来检核系统中数据唯一性问题，通过对系统中某个表中的一个或者多个联合字段进行唯一检查，得到该表中不唯一记录的数量及记录显示字段明细。,.,场景分析：一致性校验,存在问题 某ODS系统中
6、，发现ETL过程后对公活期表在ODM层与FDM层的记录数不一致，为保证系统ETL过程运行正确，需要对系统中对公活期表数据由ODM层至FDM层过程增加一致性校验。 解决方案 数据质量管理系统中提供了规范的一致性校验规则来检核系统中ETL过程中数据记录数不一致的问题。通过对系统ODM层及FDM层对公活期表主键增加一致性COUNT校验规则，得到ODM层与FDM层不一致记录数。,.,场景分析：主外键校验,存在问题 某ODS系统中，对公客户财务信息表中存在出资币种、注册资本币别等币种描述信息，其信息来自系统中的币种代码表。为了保证系统中对应关系的正确，需要对系统中对公客户财务信息表与币种代码表关联关系进
7、行主外键校验。 解决方案 数据质量管理系统中提供了规范的主外键校验规则来检核系统中数据关联关系不对应的问题。通过对系统中主表定义主外键校验规则并关联对应外键字段的附表及字段，得到系统关系中不对应的问题数量及主表中的问题记录显示字段明细。,.,场景分析：拉链表交叉链、断链校验,存在问题 某ODS系统中，为保证拉链表数据结构正确，需要对表增加拉链表交叉链和断链校验。 解决方案 为进行系统中拉链表交叉链、断链检验，数据质量系统提供自定义校验规则进行检测，通对表定义自定义查询语句，得到存在交叉链、断链的记录数。,.,产品实施案例及场景分享场景分析：业务平衡性校验,存在问题 某ODS系统中，发现ETL过
8、程后存在FDM层总账科目余额与SDM层明细科目汇总余额不一致，为保证系统业务规则运行正确，需要在系统增加相关业务的平衡校验。 解决方案 为进行系统业务的平衡性校验，可使用数据质量系统中一致性校验规则进行检测，通过对FDM层总账科目余额与SDM层明细科目汇总余额字段设置一致性SUM校验规则，得到过程中数据差额。,.,目录,数据质量管理概述 数据质量问题解决之道 数据质量管理产品简介 产品实施案例及场景分享,.,数据质量管理产品特性 数据质量产品价值 数据质量产品逻辑架构 数据质量产品技术架构 数据质量产品功能简介,数据质量管理产品简介,.,数据质量管理产品特性,基于元数据的知识库共享设计 灵活的
9、检核模块的配置、支持灵活扩展 支持检核主流数据库系统 提供丰富的系统接口 较强的检核问题与知识库管理 丰富的前端界面展现：系统前端采用Ajax、Flex技术，能够灵活的展现分析图表及血缘、影响关系。,.,数据质量管理产品价值,1,2,3,4,5,规范的问题管理流程及制度，精确管理问题每个阶段,提供全面的数据分析机制，加速问题解决,完善的质量问题解决共享机制，实现数据质量的闭环管理,自动化的检核处理及问题通知机制，达到无人职守,完整检核标准梳理方法及指标规则模板,价值,.,数据质量产品逻辑架构,二次开发,权限集成,数据访问,应 用,接口,存储,规则库,检核结果库,知识库,数据质量分析,问题处理率
10、,数据质量报告,系统管理,权限管理,系统参数,系统日志,密码维护,系统配置,单指标趋势分析,功 能,唯一性检核,代码检核,非空检核,业务指标检核,检核指标管理,检核问题管理,手工问题管理,问题通知,问题管理,值域检核,指标自动调度,指标手工调度,检核调度执行,检核执行,数据质量问题定位,单表数据分析,运行状态库,.,22,数据质量产品技术架构,展现层,逻辑层,Flash,JavaScript & Ajax,持久层,数据库,Hibernate,JDBC,iBATIS,JSP/HTML,JSF,Jason,XML,HTML,技术组件层,EXCEL 组件,XML 组件,邮件组件,日志组件,文件传输组
11、件,语法分析引擎,业务组件层,数据检核,数据采集,数据分析,业务应用层,数据标准业务应用,元数据业务应用,数据质量业务应用,接口服务层,.,数据质量管理功能简介数据质量产品功能,.,数据质量产品功能简介处理数据质量问题流程,确定规则：数据质量指标 发现问题：数据质量检核 提出问题：质量问题告警 解决问题：质量问题分析 归纳问题：问题管理流程,.,数据质量产品功能简介数据质量检核指标,数据质量系统依照数据质量的八大要素量规范了6种数据质量问题的检核规则，其中包括：非空检查、唯一检查、主外检查、长度检查、代码检查以及一致性检查 数据质量系统支持自定义规则对系统中业务性规则进行检核,.,检核指标管理
12、,检核指标管理提供唯一检查、非空检查、外键检查、代码检查、长度检查、值域检查、一致性检查、自定义检查等检核指标的管理及综合查询 功能主要包括以下部分： 指标设置按不同入口下设： 表级指标：提供从检核目标（表及字段）定义、查询、修改、删除检核指标 系统指标：提供从指标分类入口定义、查询、修改、删除检核指标 综合查询 提供按各种不同条件查询所有未删除指标,.,检核指标管理,指标定义主要功能： 基本信息：提供指标名、指标说明、执行频率、调度方式等信息输入等功能 检核目标：提供指标的检核目标、管理部门、自定义SQL等操作等功能 指标修改功能: 提供指标基本信息、管理部门等的日常维护功能 删除指标 删除
13、不再需要的指标,.,检核指标管理技术指标表级指标,.,检核指标管理技术指标表级指标完整性指标-基本信息,.,检核指标管理技术指标表级指标完整性指标检核目标,.,检核指标管理技术指标检核目标-添加管理部门,.,检核指标管理技术指标系统指标,.,检核指标管理技术指标系统指标-新增指标-选择检核表,.,检核指标管理技术指标系统指标-新增指标-输入SQL条件,.,检核指标管理技术指标-系统指标-正确性指标-一致性指标,.,检核指标管理技术指标-系统指标-正确性指标-代码指标,.,检核指标管理技术指标-系统指标-正确性指标-格式指标,.,检核指标管理技术指标-系统指标-正确性指标-值域指标,.,检核指标
14、管理技术指标-系统指标-完整性指标-外键指标,.,数据质量产品功能简介数据质量检核,数据质量检核是对源系统中存在的数据质量问题进行检查的过程，通过系统自动手动方式发现系统中存在的数据质量问题,.,数据质量产品功能简介数据质量检核,.,数据质量产品功能简介质量问题告警,质量问题告警是系统提高了数据质量问题的时效性以及数据管理人员对问题数据的响应速度。,.,数据质量产品功能简介质量问题分析,质量问题分析通过图形、图表界面，快速定位问题产生的原因以及历史趋势，为数据管理人员解决数据质量问题提供辅助,.,数据质量产品功能简介问题管理流程,系统规范了检核问题的处理流程，通过流程的处理对系统中已解决的数据
15、质量问题进行整理。,.,问题管理,系统提供检核问题管理管理，分别提供对检核问题管理与手工问题管理，并对检核问题提供血统分析、影响分析、查看明细、导出功能与流程化管理。 功能主要包括以下部分： 检核问题管理：提供对检核出的问题的流程化管理，并可查看检核问题的明细信息、血统分析、影响分析等 手工问题管理：提供对手工提出的问题的流程化管理,.,检核问题管理,检核问题列表：,46,.,检核问题管理,问题明细列表：,47,.,检核问题管理,转入知识库,48,.,检核问题管理,血统分析：,49,.,数据质量分析,系统提供对数据质量检核出的结果进行的数据分布式分析。包括查询指标、查看趋势分析视图及下载质量报告等功能 功能主要包括以下部分： 指标趋势分析：提供对单指标所检核出的结果进行数据趋势分析 单表数据分析：提供对数据质量检核出的结果以单表进行数据趋势分析 数据质量报告：对指定的检核数据生成数据质量检核报告(EXCEL格式) 并提供下载,.,数据质量分析,单指标趋势分析图,.,数据质量分析,单表数据分析图,.,数据质量分析,数据质量报告列表,.,数据质量报告Excel文档,数据质量分析,.,目录,数据质量管理概述 数据质量问题解决之道 数据质量管理产品简介 产品实施案例及场景分享,.,产品实施案例及场景分享产品实施案例,.,欢迎沟通！,A,Q,&,
