数据管控总结讲解

《数据管控总结讲解》由会员分享，可在线阅读，更多相关《数据管控总结讲解（54页珍藏版）》请在金锄头文库上搜索。

1、数据管控交流,Agenda,数据管控 元数据管理 数据质量管理 数据标准,我们通常提到数据管控数据综合治理 能够想到的数据质量问题,源系统业务人员录入正确性问题。 工行案例：企业财务报表录入日期 源系统多系统之间数据不一致的问题。 工行案例：对公企业行业分类问题 光大案例：客户证件类别 操作性业务系统规范对后台分析系统的影响。 工行案例：增量完整性 浦发案例：前台系统的数据质量建议方案 业务统计口径不一致的问题。 信用卡案例：睡眠卡的定义,解决这些数据问题的手段,我们需要有一个尺度作为判断的依据来衡量 数据标准 我们需要有一个侦测、报告、协助分析治理数据问题的平台： 数据质量管理 我们需要对数

2、据问题影响进行分析，我们需要对数据进行统一的版本管理和规范管理控制。 元数据管理 我们需要 数据治理是一个工程。,我们需要有侦测、分析、解决方案评估、执行的完整流程。 我们需要有以下人员的参与： 科技部门 业务系统的开发人员 数据治理的专职人员 分析系统的开发人员 业务部门,解决这些数据问题的手段,Governance=People, Processes, Technology,针对数据管控我们还能想到什么？,时效性问题？ 数据的安全？隐私问题？ 数据的生命周期管理问题？ 。,数据管控机制的建立,数据管控的定义 管控结构组成部分 1. 管控任务和指导原则 2. 管控的组织结构 3. 业务改善和

3、结果追踪 4. 数据管理的落地功能 5. 用户的支持和参与 6. SLA,有效的管控6个组件,每个阶段的执行情况覆盖了所有的开发周期,Plan,Analyze,Design,Build,Implement,Manage,Governance Program Structure,User Support & Involvement,Data Certification & Management,Service Level Agreements,Mission, Policies, Guiding Principles,Incremental Project Planning & Implemen

4、tation,Opportunity Scoping & Results Tracking,建立数据管控的考核指标和落地功能,DG-KPI,DG-KPI 载体或工具,三大功能和相互关系,管控体系中的数据标准、数据质量和元数据之间有着紧密的关系，三者的关系如下： 数据标准向元数据提供业务元数据的标准定义，并可以通过元数据平台进行维护； 数据标准定义了符合进仓数据的标准和依据，指导数据质量进行有效的质量监测和检查；另一方面，通过数据质量具体的操作来促进数据标准的执行情况； 元数据作为数据质量的数据提供者，向数据质量提供包括表、字段、代码等元数据对象及其属性定义，能够帮助仓库的使用者更好的发现数据的

5、质量问题；,数据管控应用框架,0,数据治理组织架构与,岗位职责,数据治理模板,(,流程、定义、发布,),数据治理认责,与考核办法,元数据分类模式及属性举例,分类,属性,元数据管理的架构,元数据的基础功能,元数据查询浏览：侧重于对元数据的内容展现和查询方式支持 元数据数据分析：侧重于基于元数据的分析功能，从数据中提取对技术、业务用户有用的信息 元数据管理：元数据平台的管理功能 BI元数据和企业级元数据的互动：企业级元数据经ETL平台加工整理进入仓库，形成BI元数据，可通过血缘分析和影响分析功能查看两者的互动关系；,历史 对象,元数据浏览的灵活性,元数据对象关系呈立体网状 看本体查看对象本身定义，

6、例如表的名称、注释等信息。 向上看查看对象所属对象的定义，例如表所归属的数据库。 向下看查看对象包含的对象的定义，例如表所包含的字段、索引等。 向前看查看对象的上游信息对象，例如该表的数据的来源表。 向后看查看对象的下游信息对象，例如该表的数据的目标表。 看历史查看对象的历史变更信息。例如该表在上一个版本中的内容。 看友邻查看与对象有关系的其他对象，例如涉及该表的脚本等信息。,所属 对象,包含 对象,目标 对象,来源 对象,本体 对象,元数据主要分析功能,影响分析 向下分析一个元数据对象对下游对象的影响。 血缘分析 与影响分析的方向相反，向上追溯一个对象的数据来源。 全链分析 从某对象出发，向

7、上下游双方向进行分析。 活力分析 分析一个数据库对象被访问的频度。 孤立对象分析 分析数据准备区(SData)、物理模型区(PData)中的孤立元数据对象。 一致性分析 定期分析元模型中的元数据是否与实际情况一致。 版本比对 选择任意两个时点的版本进行比对。 质量分析 分析数据仓库中的元数据的质量。,如何元数据技术的价值,元数据技术发展方向 任何事物的发展都是从粗放型到精细型，元数据的发展也不例外。 元数据是关于数据属性的管理系统，针对数据属性的管理需要从“定量化”技术指标到“抽象化”的业务指标的管理。 元数据的应用需要从简单的技术应用模式到复杂的分析应用模式的转型。 元数据发展目标： 元数据

8、的完整性 元数据的精细化 实现元数据的双向驱动为目标工商银行 业务元数据价值的探讨工商银行 元数据应用的价值举例： 基于元数据的数据质量评估模型 基于元数据的数据温度评估模型 基于元数据的数据生命周期管理机制 基于元数据的ETL作业调度优化 基于元数据的物理模型优化,真正发挥元数据的协助数据管理的职能,数据质量维度,必须有一个跨部门以上领导的重视和牵头 必须有一个专门负责解决数据质量问题的组织 必须有一个专门负责解决数据质量问题的平台 必须有一个专门负责解决数据质量问题的流程 必须有一个专门负责侦测数据质量问题的工具,数据质量的5个“一“工程,完整的数据质量解决方案,数据质量改进标准流程,21

9、,数据质量平台功能,管理配置平台：质量规则的管理维护，支持用户界面手工编辑方式进行维护或者文件方式批量导入 检查执行平台：数据质量知识库中抽取相关质量规则，以检查脚本为载体，通过ETL服务器任务调度，完成数据检查，并将检查结果保存进数据质量知识库 质检报告展示平台：以WEB页面或者文件方式查看质量检查结果,数据标准框架,数据标准定义,数据标准执行,数据标准映射,数据标准管理流程,数据项的主题、分类 数据项的业务属性 数据项的技术属性,数据标准执行的架构 数据仓库差异和改进建议 源系统差异和改进建议,数据标准与源系统的字段级映射 数据标准与数据仓库的字段级映射,日常维护 更新 执行和效果追踪,标

10、准定义,标准映射,标准执行,管理流程,管理工具,业务数据标准的问题,困难 实施难易度 容易,高 实施迫切性 低,公共数据规则示例,电话号码,建议采用正则表达式进行系统固化，例如：/(0+d2,3-)(0d2,3)-)?(d7,8)(-d3,)?$/ 合法范例：010-23412256，021-27765466-201，0731-3445654 非法范例：未以-分隔，以及所有含非数字字段电话号码，例如0a0*11233323,手机号码,建议采用正则表达式进行系统固化，例如：/0*(13|15)d9$/ 合法范例：13933452321，15933442231 非法范例：非13或15开头，长度不为

11、11位以及所有含非数字字符的号码，例如：1300006454a,行政区划(省、市),数字代码采用三层六位层次码结构 省、自治区、直辖市、特别行政区的字母用两位大写字母表示 市、地区、县级市、市辖区的字母用三位大写字母表示,地址,地址信息之不允许包含省份、城市和区县的信息 应该按照下列顺序依次填写街道、门牌号、单元室号等信息,邮编,采用四级六位编码制，前两位表示省、市、自治区，第三位代表邮区，第四位代表县、市，最后两位代表投递邮局 建议采用正则表达式进行固化，例如：/0-96$/,邮件地址,建议采用正则表达式进行固化，例如：/_a-z0-9+(_a-z0-9+.)+a-z0-92,3$,工作目标

12、和重点,产品,客户,渠道,交易,客户资产,机构,财务,协议,营销,地址,公共代码,业务主题,公用,三期（2010/01-2010/06),一期（2008/02-08),建立兼职数据标准小组 建立数据管理流程 建设管理工具,兼职：每部门1人,基础框架 客户、产品主题 公共代码,ECIF的客户模型 相关系统的产品,统一的客户视图 数据标准实施蓝图和路线图,二期（2008/09-2009/12),规划的实施路线图,1.定期复审数据标准，评估前期成果合理及适用性，推动必要修正，保证数据标准的有效性 2.定期审视前、中、后台操作/管理系统有无不符合数据标准指导原则部门，评估修正可能 3.定期审视现有操作

13、流程评估数据标准使用的合理性，作为未来修改、新增操作流程依据,落地建议仅供参考，不作为本项目的交付,标准的维护和更新,一期项目标准定义（1）：客户主题,客户定义与分类,客户信息模型,产品定义及原则,一期项目标准定义（2）：产品主题,产品清单,产品分层,产品信息模型,产品特征定义,产品与特征的映射,一期项目标准定义（3）：标准代码(I),完成199个公共代码的标准定义，分布在客户、产品、协议等多个主题,代码定义原则及分类,代码定义范例,一期项目-标准管理组织架构和角色定义,目前的组织架构：由领导小组、办公室和数据管理员组成三层兼职组织架构,数据标准管理 领导小组,数据管理员,系统管理员,数据标准

14、 业务专家,对数据标准的定义与 变更提供专家意见 配合解释数据标准的 业务含义和业务规则 配合数据管理员完成 其他数据标准管理事项,数据标准定义 变更核准与修改维护 数据标准复审 标准执行的监督 标准的一致性解释 金融标准委员会相关 标准的复审和落实,数据标准管理工具的 运营与维护 数据标准管理工具的 用户设置与权限管理,数据标准 管理办公室,发起、组织数据标准的新建 协调跨领域变更与重大变更核准 组织数据标准定期复审 监控标准执行项目的进展与效果 数据标准的发布、备案、版本管理 行外数据标准化组织的联系 行业标准发展状况的跟踪,审定数据标准建立方案 审议数据标准重大变更 核准数据标准复审 审

15、定和推行数据标准执行方案 指定标准执行项目的业务牵头部门 推动标准在全行的使用落实 指派数据管理员与业务专家,一期项目-数据标准变更维护流程,二期项目,2008/12 2009/1 2009/2 2009/3 2009/4 2009/5 2009/6 2009/7 2009/8,0 1 2 3 4 5 6 7 8,二期标准定义,渠道主题数据标准 渠道定义 渠道类型/种类 渠道信息模型,渠道主题,交易主题,关键统计指标,交易主题数据标准 交易定义 交易类型 交易核心信息项和使用规范 交易费收入识别规则,关键统计指标数据标准 指标分类及定义原则 指标定义基础框架 关键统计指标标准定义,二期项目数据标准定义（1）-渠道主题,渠道定义：客户获取银行或银行产品信息以及购买或使用银行产品、服务的媒介。,几点解读： 渠道是银行与客户之间的接触点，只有在我行与客户相互接触（直接或间接）的事件中才包含渠道信息。 通过渠道，客户可以主动接触我行，获取我行信息，购买和使用我行产品与服务；通过渠道，我行也可以主动向客户销售产品、提供信息和服务。 以我行视角定义的渠道是我行所提供的、延伸至最外端、可供客户接触我行或我行主动接触客户的媒介。,渠道信息模型 按照信息大类、小类和信息项分层定义 覆盖基本、银行管理、利润、运维、关联、特有、分组信息等七大类，22小类