《元数据管理模块方案》由会员分享，可在线阅读，更多相关《元数据管理模块方案（8页珍藏版）》请在金锄头文库上搜索。
1、目录1. 现状分析 21.1 目前的困境 31.2 什么是元数据管理 32. 目标分析 42.1 建立完善的指标解释体系 42.2 建立规范的元数据管理体系 42.3 建立有效的数据稽核体系 53. 功能概述 53.1 元数据管理 53.1.1 业务元数据 63.2.2 技术元数据 73.3 元数据分析 113.3.1 血统分析 113.3.2 影响分析 123.3.3 重要性分析 133.3.4 无关性分析 143.4 数据稽核 143.4.1 稽核规则管理 153.4.2 稽核任务调度 163.4.3 稽核结果分析 163.4.4 数据质量评估 16163.4.5 数据问题管理元数据管理系
2、统概述1. 现状分析随着经营分析系统规模不断扩大， 系统所积累数据量也越来越大， 收集到的 海量 数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难 度：一方面难以 对这些数据进行有效解释， 缺乏对业务流程执行的实时监控和管 理；另一方面各部门数 据与数据整合的难度也不断加大， 影响到了经营分析系统 中的数据质量。如何对现有数据进行深层发掘， 并揭示出埋藏在元数据中的趋势、 因果关系、 关 联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解 决的头等大 事。构建 BI ，首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建
3、立数据与数据之间的关 系，为数据仓库的数据质量监控 提供基础素材。1.1 目前的困境使用者 （决策层、业务分析人员 ） ：1）经营分析系统中存在有很多报表，不同报表中存在一些相同的指标，这 些指标往往-可编辑修改 -不一致， 给业务分析和决策工作造成很多困惑， 必须花费很大的 精力去检查核实。2) 对于很多指标，不清楚其具体含义，不清楚其反映的问题，不清楚其具 体算法和来 龙去脉。数据仓库项目开发维护者：1) 不同报表中的同一指标不一致，必须花费很大的精力去检查，目前基本上是通过手工检查表和存储过程的方式，效率较低。2) 没有完善的开发、维护规范。比如，新增一张分析报表，开发人员根据业务人员的
4、需求制作完成之后， 往往没有整理完善相应的数据指标解释和元 数据管理，造成日后 检查困难。3) 开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照 规范执行， 随着项目的发展和时间的推移， 导致数据仓库项目的健壮性和可 维护性呈几何级数下 降，给数据仓库的建设带来大量的重复工作。1.2 什么是元数据管理元数据最本质，最抽象的定义为： data about data ( 关于数据的数据 )。 而对 于经营分析数据仓库而言， 形象的定义为：元数据就是数据仓库的规范 。 这些规范 包括对各种指标的定义、 解释； 包括对各表中数据的来龙去脉、 数 据的大小和格式的定义元数据管理，就是要建立
5、一套行之有效的规范以及该规范的管控体系， 实现从 管理到查询到综合分析的全面管控，管理层次从接口到 ETL 处理、 业务逻辑处理、 结果展现处理和指标分析的方方面面， 构成数据仓库应用系 统的核心和基础。做到 开发者能严格遵守规范， 维护者和使用者有规范可查， 有力的保障数据仓库项目的健壮性和可维护性。2. 目标分析要走出目前的困境，有下面三个方面的问题急待解决：2.1 建立完善的指标解释体系满足用户对业务和数据理解的需求， 建立标准的企业内部知识传承的信 息承载 平台，建立业务分析知识库， 实现知识共享。 能够回答诸如以下问题： 什么是出帐 用户数？在网用户数和网上用户数有何区别？ 什么是套
6、餐的生命周期？ 竞争对手新发展用户数是怎么得来的？ 这个数据还叫什么名字？2.2 建立规范的元数据管理体系让用户能够清晰的了解数据仓库中数据流的来龙去脉，业务处理规则、发展情况等，提高系统的可维护性、适应性和集成性，支持数据仓库/集市的成长需求，减少因员工换岗造成的影响。具体来讲， 主要是对数据仓库建设、 运行和维护的规范的管理。 能够回 答诸如以下的问题：哪张表是从业务系统抽取过来的原始话单表？ 竞争对手新发展用户事实表中的数据，是从哪些表汇总计算出来的？ DW 用户下的 P_XXX 这个存储过程是谁 写的，现在还有用吗？ 我是新手，要生成套餐生命周期演化分析事实表，我该 怎么做？ 表空间不
7、够了，哪些表的数据可以删掉？2.3 建立有效的数据稽核体系促进数据仓库的数据质量建设， 为提高整个系统的数据质量奠定坚实的 基础。 建立报警、监控机制，出现故障，能及时发现问题。提供整体系统运 营的情况分析。 能够回答诸如以下问题：今天的出帐用户数过高，是怎么回事？数据集市层中的 DM_XXX 表中数据为空，什么原因？A 报表中的全省 ARPU 值和 B 报表中的 ARPU 值为什么不同？3. 功能概述3.1 元数据管理对数据仓库的层次结构、主题域划分，各层的各种对象，如表、存储过程、索引、数据链、函数和包等的管理。能够清晰的展现各层次结构之间的数据流程，图形化展现各对象之间的关系，展现表中数据的来龙去脉3.1.1 业务元数据业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所提供的分析方法及公式、扌报表信息。业务元数据管理除了管理上述信息外，还提供对业务元数据来源的管理和差异性对比功能，使用户能够方便的查询、比较和追溯。包括两个子模块，指标管理和指标解释接口。指标管理：主要实现对所有指标的维护功能，维护指标的基本信息、业务规则和技术算法等。能够展现各个主题分析中的指标，以及指标间的区别等信息指标解释接口 ：提供统一的接口，使用户能够在经营分析系统或CRM系统中，点击任一指标名称，即可查看该指标的详细描述和解释说明。
